- 博客(18)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 CentOS6.7安装elasticsearch5.4 以及kibana
1.安装jdk1.8 2.问题1：org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root 解决方案： 因为安全问题elasticsearch 不让用root用户直接运行，所以要创建新用户 建议创建一个单独的用户用来运行ElasticS...
2017-06-19 12:43:00
151
原创 Java高效读取大文件
1、概述 本教程将演示如何用Java高效地读取大文件。这篇文章是Baeldung （http://www.baeldung.com/） 上“Java——回归基础”系列教程的一部分。 2、在内存中读取 读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： Files.readLines(new File(path)...
2017-06-16 11:49:00
82
原创 centOS6.7 /etc/profile
#JAVA_HOME JAVA_HOME=/usr/java/jdk1.8.0_101 JRE_HOME=/usr/java/jdk1.8.0_101/jre #PATH=$JAVA_HOME/bin:$PATH #export PATH=$PATH #hadoop HADOOP_HOME=/usr/hadoop-2.7.3 #zookeeper ZOOKEEPER_HOME=/usr/...
2017-06-16 10:43:00
104
原创 Linux 切分文件并进行处理
#!/bin/bash # split the main file into files containing 10,000 lines max split -l 10000 -a 10 carrier.json /tmp/carrier_bulk # send each split file BULK_FILES=/tmp/carrier_bulk* for f in $BULK_FI...
2017-06-15 18:09:00
213
原创 安装 elasticsearch-head
修改 elasticsearch/config/elasticsearch.yml 添加 http.cors.enabled: true http.cors.allow-origin: "*" 下载 elasticsearch-head 或者 git clone 到随便一个文件夹 安装nodejs cd /path/to/elasticsearch-head npm install -g grun...
2017-06-15 11:34:00
73
原创 awk 每行的上一行加数据，内容包含自增变量
awk '{print "{\"index\":{\"_index\":\"test\",\"_type\":\"ddy\",\"_id\":" NR " }} \n{\"id\":\"" $1 "\"," "\"date\":\"" $2 "\"," "\"inf\":" $3 "," "\"age\":" $4 "," "\"num\":\"" $5 "\"," "\"t\":\"" $...
2017-06-15 09:58:00
576
原创 elasticsearch5.4.3、kibana分布式安装
设置elasticsearch 两台机器： master ip 192.168.31.106 slave ip 192.168.31.162 master elasticsearch.yml node.name: node-1 node.master: true node.data: true network.bind_host: 192.168.31.106 network.pub...
2017-06-15 09:11:00
348
原创 hive与hbase整合
Hbase中建立表test1: hbase(main):016:0> describe 'test1' Table test1 is ENABLED ...
2017-06-14 11:00:00
66
原创 hive2.1.1安装配置
一、Hive 运行模式 与 Hadoop 类似，Hive 也有 3 种运行模式： 1. 内嵌模式 将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。 2. 本地模式 这种模式是将元数据保存在本地独立的数据库中（一般是 MySQL），这用...
2017-06-13 17:07:00
126
原创 Mysql5.7读写分离
主库ip:192.168.31.106 从库ip:192.168.31.162 设置允许远程连接：/etc/mysql/mysql.conf.d 注释bind-address = 127.0.0.1 修改配置文件：/etc/mysql/my.cnf 主库： [mysqld] server-id=106 log-bin=mysql-bin binlog-ignore-db=my...
2017-06-12 19:45:00
198
原创 mysql5.7开启远程连接
Ubuntu16.04 1登录到mysql中，为root进行远程访问的授权，所以主机都可以链接 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%'IDENTIFIED BY 'mypassword' WITH GRANT OPTION; 修改生效 mysql>FLUSH PRIVILEGES 切换到 mysql DB mysql> use ...
2017-06-12 19:26:00
146
原创 Ubuntu16.04 修改主机名
(1): 首先切换到root用户 $sudo su (2):修改/etc/hosts的内容 #vim /etc/hosts 将原来到主机名换掉例如： 127.0.0.1 master 退出保存修改： :wq! (3):修改/etc/hostname文件中的内容 $vim /etc/hostname 改为：master 退出保存! (4)重新启动后，再次打开终端(Ctrl+A...
2017-06-12 15:14:00
135
原创 Exception in thread "main" java.io.IOException: (null) entry in command string: null chmod 0700 E:\t
在https://github.com/vincentduan/hadoop-common-2.7.1-bin.git中下载hadoop.dll，并拷贝到c:\windows\system32目录中。 执行map reduce程序， 正常。
2017-06-08 17:44:00
2064
2
原创 eclipse远程连接Hadoop，用户认证失败
服务器上使用的用户名为root 而eclipse使用的用户名为xxxx 方法一：修改windows用户名 方法二：修改hadoop中的hdfs-site.xml 添加如下代码： <property> <name>dfs.permissions</name> <value>false</value> ...
2017-06-08 17:18:00
137
原创 Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境
Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境 一、环境说明 个人理解： zookeeper可以独立搭建集群，hbase本身不能独立搭建集群需要和hadoop和hdfs整合 集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下： ...
2017-06-05 17:39:00
124
原创 zookeeper 3.4.6安装
复制zoo_sample.cfg到当前文件夹命名为zoo.cfg 内容修改如下： # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The numbe...
2017-06-05 15:31:00
113
原创 hadoop 2.7.3
修改主机名 /etc/sysconfig/network 把hostname栏目修改 [root@slave2 ~]# cat /etc/sysconfig/network NETWORKING=yes NETWORKING_IPV6=no HOSTNAME=slave2 设置主机表 对于windows主机名有一个主机表来控制，linux下面也有。位置在/etc/hosts下面 ...
2017-06-04 09:46:00
80
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人