- 博客(16)
- 资源 (5)
- 收藏
- 关注
原创 hive数据导入ElasticSearch坑记录
环境:CDH5.16.2(hive1.1.0)、ES6.7.21、 关于拼音分词 org.elasticsearch.hadoop.rest.EsHadoopRemoteException: illegal_argument_exception: startOffset must be non-negative, and endOffset must be >= start...
2019-07-23 19:39:35 4284 1
原创 记一次ES java 客户端 transport报错: None of the configured nodes are available
记一次ES java 客户端 transport报错:None of the configured nodes are availableput("client.transport.sniff", true) //自动嗅探整个集群的状态,把集群中其他ES节点的ip添加到本地的客户端列表中ES集群部署在docker中,总共三台,docker中的三台虚拟机不在一个局域网内,代码中添...
2019-07-16 12:08:53 479
原创 CDH5.16.2安装Hue、kylin、spark2遇到的坑
环境:centos7# uname -aLinux hadoop001 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux1、socket.error: [Errno 98] Address already in use找了很久到底是哪个和hue冲突,原来是我们的一个...
2019-06-25 16:44:04 4042
原创 使用ES作为hbase的二级索引进行查询
先上代码,ES的工具类/** * elasticsearch 工具类 */public class elasticsearchUtil { private static TransportClient client = null; private static Settings build = null; static { build = Se...
2019-05-28 21:49:19 7102 4
原创 Apache 原生态hadoop集群一个脚本启动、一个脚本关闭
脚本放在hadoop01上,也是主节点,namenode。前提:hadoop01 -- hadoop05 五个节点都设置了ssh免密登录。启动脚本:echo "首先启动ZK"ssh root@hadoop03 sh /usr/local/zookeeper/bin/zkServer.sh startssh root@hadoop04 sh /usr/local/zookeeper/...
2019-05-28 21:44:49 262
原创 Linux离线安装elasticsearch6.1.3
环境:192.168.0.107 hadoop03192.168.0.108 hadoop04192.168.0.109 hadoop05安装elasticsearch:elasticsearch不依赖hadoop集群,可以单独启动。192.168.0.107是主节点,108/109是从节点。首先创建一个用户es,因为elasticsearch6.x版本为了安全起见不让用root用户...
2019-05-11 19:37:06 1084
原创 2019.1版本idea连接SVN操作详解
1、File ---->Settings |---->Version Control ---->Subversion2、将截图中红框中的svn.exe设置为自己的安装路径。3、确定之后就可以了。4、导出SVN上的代码到idea中,在本地会使用一个workspace,所以先在本地建好一个空目录(最好是和项目名称一致)5、VCS ----> checko...
2019-04-29 14:03:20 13588 1
原创 hadoop2.9.1 + hive2.3.4 + kafka0.10.2.2 + spark2.2.2 + zookeeper3.4.9安装
hadoop2.9.1 + hive2.3.4 + kafka0.10.2.2 + spark2.2.2 + zookeeper3.4.9安装环境:centos7、java1.8、scala2.11.12安装虚拟机:centos7:CentOS-7-x86_64-Minimal-1611.iso安装五台:192.168.0.105 hadoop01192.168.0.106 hadoo...
2019-01-12 20:32:43 565
原创 shell脚本中的变量计算
每个人都有每个人的习惯,我把我写shell脚本时变量计算的习惯写一下:加减乘除的实现方式有很多:((i=$j+$k)) 等价于 i=`expr $j + $k`((i=$j-$k)) 等价于 i=`expr $j -$k`((i=$j*$k)) 等价于 i=`expr $j \*$k`((i=$j/$k)) 等价于 i=`expr $j
2018-01-15 15:58:52 2145
原创 linux 使用shell脚本写数据报表并且在web端浏览
1.首先在hive中建表(本人喜欢看NBA所以使用的nba的数据):create table number_one_team1(year string comment '年份',name string comment '球员姓名',team string comment '球队')comment '每年的状元及选秀球队'row format delimited
2017-06-29 22:13:07 1005
原创 hadoop 中MapReduce代码运行在win7上(本地)
1,下载hadoop安装包,我使用的是hadoop2.6,可以去官网下载。2,解压后,配置环境变量---->HADOOP_HOME:D:\hadoop\hadoop-2.6.0(我自己的路径,根据自己的安装包路径配置就行)3,配置完成后,打开cmd,键入:hadoop version ----> 成功后会显示hadoop版本号,失败后就会报错4,成功后进入你编写的MapReduce m
2017-02-16 10:53:55 950
转载 从maven下resource文件夹读取文件的方法
在一个maven工程下,通常有resource文件夹,其中再存放相关的资源文件, 比如resource下有个files文件夹,其中有个文件叫test.txt,则读取方法之一为: Java代码 private String getFile(String fileName) { StringBuilder result = new Stri
2017-02-04 13:21:55 2065
原创 mysql单例模式
package dao;import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; import java.util.Properties;/** * * @author Administrator * */
2016-12-12 15:02:12 818
apache原生态Hadoop集群安装.txt
2019-06-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人