- 博客(11)
- 收藏
- 关注
RSS订阅原创 通过dokcer容器安装elk
1、准备工作 docker pull elasticsearch:7.6.2 docker pull logstash:7.6.2 docker pull kibana:7.6.2 创建网络：docker network create elk 2、安装es 1）创建数据目录： mkdir /log_data/data chmod 777/log_data/data 2)启动： docker run -itd --name elasticsearch -p 9200:9200 --ne.
2021-10-20 16:39:02
86
原创 docker安装
1、uname -r centos的系统内核不能低于3.10 2、之前安装过docker的需要清除原安装残余 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-selinux \ docker-engine-selinux \ docker-engine .
2021-10-15 14:27:34
60
转载 mysql用户创建与授权（引自七月逆流）
一. 创建用户 命令: CREATE USER 'username'@'host' IDENTIFIED BY 'password'; 说明： username：你将创建的用户名 host：指定该用户在哪个主机上可以登陆，如果是本地用户可用localhost，如果想让该用户可以从任意远程主机登陆，可以使用通配符% password：该用户的登陆密码，密码可以为空，如果为空则该用户可以...
2018-08-01 10:53:21
231
转载 api接口的数字签名
必要的输入参数 参数名 类型 必选 描述 appid string 是 调用方身份ID，接口提供方用此来识别调不同的调用者，该参数是API基本规范的一部分，请详见API公共规范。 _ign string 是 一次接口调用的签名值，服务器端 “防止 伪
2017-08-28 14:08:57
1620
原创 hive的启动方式
1、命令行模式 hive 或 hive --service cli 2、 hive web界面的 (WUI) 启动 hive –service hwi & 默认端口 9999，浏览器访问地址：:9999/hwi">http://:9999/hwi 3、 Hive Thrift Server hive --service hiv
2013-03-22 11:08:41
1176
原创 hive两个列之间的连接（格式化）
concat_ws 和 cast： concat_ws(',',cast(user_id as string), cast(count(1) as string) )
2013-03-21 16:41:45
910
原创 hadoop用虚拟机做为datanode
测试： select count(1) from user; 1.9亿条数据 1、 1台namenode+8台datanode，耗时54秒 2、将其中的一台datanode装三个虚拟机，改为：1台namenode+8台实际的datanode+3台虚拟机的datanode，耗时96秒 多台虚拟机作为多个datanode节点并不能改善数据处理性能，反而会造成数据倾斜，性能更差
2013-03-20 16:23:22
684
原创 生成hive外部表
建表： create EXTERNAL table t_user_follower_all (user_id int, follower_id int,sms_flag int,mms_flag int, black_flag int, update _time string,create_time string, status int, source int,load_time stri
2013-01-21 09:41:26
251
原创 复制hadoop配置文件到datanode的脚本
#!/bin/sh . ~/.bash_profile HADOOP_HOME=$HADOOP_HOME for slavenode in `cat $HADOOP_HOME/conf/slaves` do if [ "$slavenode" != "" ]; then echo $slavenode s
2013-01-17 10:05:49
290
原创 解决Name node is in safe mode的问题
问题：解决“Name node is in safe mode”： 命令：hadoop dfsadmin -safemode leave hadoop dfsadmin -safemode ，参数如下： enter - 进入安全模式 leave - 强制离开安全模式 get - 返回安全模式状态信息 wait - 等待，一直到安全模式结束 备注，现象： FAILED: H
2013-01-15 09:44:49
1115
原创 在Struts 中进行数据验证
主要有两种类型的数据验证,一种是数据的输入有效性验证,可以在ActionForm的validate方法中进行验证;另一种是数据的逻辑有效性验证,可以在Action中进行验证.首先说明如何在ActionForm中如何对前台输入的数据进行输入有效性验证:1> 首先配置不合法数据的校验结果信息,可以配置在properties文件中,例如:在application.propertie
2005-02-04 17:37:00
1127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人