- 博客(16)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 hive数据导入ElasticSearch坑记录
环境：CDH5.16.2（hive1.1.0）、ES6.7.21、 关于拼音分词 org.elasticsearch.hadoop.rest.EsHadoopRemoteException: illegal_argument_exception: startOffset must be non-negative, and endOffset must be >= start...
2019-07-23 19:39:35
4232
1
原创 记一次ES java 客户端 transport报错： None of the configured nodes are available
记一次ES java 客户端 transport报错：None of the configured nodes are availableput("client.transport.sniff", true) //自动嗅探整个集群的状态，把集群中其他ES节点的ip添加到本地的客户端列表中ES集群部署在docker中，总共三台，docker中的三台虚拟机不在一个局域网内，代码中添...
2019-07-16 12:08:53
421
原创 CDH5.16.2安装Hue、kylin、spark2遇到的坑
环境：centos7# uname -aLinux hadoop001 3.10.0-957.el7.x86_64 #1 SMP Thu Nov 8 23:39:32 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux1、socket.error: [Errno 98] Address already in use找了很久到底是哪个和hue冲突，原来是我们的一个...
2019-06-25 16:44:04
4034
原创 使用ES作为hbase的二级索引进行查询
先上代码，ES的工具类/** * elasticsearch 工具类 */public class elasticsearchUtil { private static TransportClient client = null; private static Settings build = null; static { build = Se...
2019-05-28 21:49:19
7056
4
原创 Apache 原生态hadoop集群一个脚本启动、一个脚本关闭
脚本放在hadoop01上，也是主节点，namenode。前提：hadoop01 -- hadoop05 五个节点都设置了ssh免密登录。启动脚本：echo "首先启动ZK"ssh root@hadoop03 sh /usr/local/zookeeper/bin/zkServer.sh startssh root@hadoop04 sh /usr/local/zookeeper/...
2019-05-28 21:44:49
258
原创 Linux离线安装elasticsearch6.1.3
环境：192.168.0.107 hadoop03192.168.0.108 hadoop04192.168.0.109 hadoop05安装elasticsearch：elasticsearch不依赖hadoop集群，可以单独启动。192.168.0.107是主节点，108/109是从节点。首先创建一个用户es，因为elasticsearch6.x版本为了安全起见不让用root用户...
2019-05-11 19:37:06
1073
原创 2019.1版本idea连接SVN操作详解
1、File ---->Settings |---->Version Control ---->Subversion2、将截图中红框中的svn.exe设置为自己的安装路径。3、确定之后就可以了。4、导出SVN上的代码到idea中，在本地会使用一个workspace，所以先在本地建好一个空目录（最好是和项目名称一致）5、VCS ----> checko...
2019-04-29 14:03:20
13536
1
原创 hadoop2.9.1 + hive2.3.4 + kafka0.10.2.2 + spark2.2.2 + zookeeper3.4.9安装
hadoop2.9.1 + hive2.3.4 + kafka0.10.2.2 + spark2.2.2 + zookeeper3.4.9安装环境：centos7、java1.8、scala2.11.12安装虚拟机：centos7：CentOS-7-x86_64-Minimal-1611.iso安装五台：192.168.0.105 hadoop01192.168.0.106 hadoo...
2019-01-12 20:32:43
546
原创 shell脚本中的变量计算
每个人都有每个人的习惯，我把我写shell脚本时变量计算的习惯写一下：加减乘除的实现方式有很多：((i=$j+$k)) 等价于 i=`expr $j + $k`((i=$j-$k)) 等价于 i=`expr $j -$k`((i=$j*$k)) 等价于 i=`expr $j \*$k`((i=$j/$k)) 等价于 i=`expr $j
2018-01-15 15:58:52
2140
原创 linux 使用shell脚本写数据报表并且在web端浏览
1.首先在hive中建表（本人喜欢看NBA所以使用的nba的数据）：create table number_one_team1(year string comment '年份',name string comment '球员姓名',team string comment '球队')comment '每年的状元及选秀球队'row format delimited
2017-06-29 22:13:07
995
原创 hadoop 中MapReduce代码运行在win7上（本地）
1，下载hadoop安装包，我使用的是hadoop2.6，可以去官网下载。2，解压后，配置环境变量---->HADOOP_HOME:D:\hadoop\hadoop-2.6.0（我自己的路径，根据自己的安装包路径配置就行）3，配置完成后，打开cmd，键入：hadoop version ----> 成功后会显示hadoop版本号，失败后就会报错4，成功后进入你编写的MapReduce m
2017-02-16 10:53:55
931
转载 从maven下resource文件夹读取文件的方法
在一个maven工程下，通常有resource文件夹，其中再存放相关的资源文件, 比如resource下有个files文件夹，其中有个文件叫test.txt，则读取方法之一为： Java代码 private String getFile(String fileName) { StringBuilder result = new Stri
2017-02-04 13:21:55
2038
原创 mysql单例模式
package dao;import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; import java.util.Properties;/** * * @author Administrator * */
2016-12-12 15:02:12
794
apache原生态Hadoop集群安装.txt
2019-06-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人