- 博客(32)
- 收藏
- 关注
RSS订阅原创 ES 设置开机启动
在root用户下1.vim /etc/init.d/elasticsearch#!/bin/sh#chkconfig: 2345 80 05#description: elasticsearch export JAVA_HOME=/usr/java/jdkexport JAVA_BIN=/usr/java/jdk/binexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME
2020-05-25 14:46:34
1798
原创 kafka报错 failed to complete preferred replica leader election to 217. Leader is still 219
Failed to elect leader for partition __consumer_offsets-77 under strategy OfflinePartitionLeaderElectionStrategycdh管理页面问题原因 新增加的副本的offset 副本的offset比leader的新 所以在elect的时候 出现问题解决方法 :在kafka的home path 的bin目录下 执行自带平衡topic 脚本kafka-preferred-replica-election
2020-05-22 11:21:22
3915
1
原创 linux 系统 ES开源工具 elastichd 的使用
要求安装了 ES和 docker执行命令docker run -p 9800:9800 -d containerize/elastichd然后访问 主机名 + 9800 即可打开之后是这样一个界面
2020-05-21 15:25:13
338
原创 idea maven项目导入下载好的jar包
有时候使用pom添加依赖的时候,会由于各种原因,半天下载不动,如果有本地jar包可以通过以下方式上传12
2020-05-21 10:26:19
598
原创 Permission denied. user=rootis not the owner ....
HADOOP_USER_NAME=xxx hadoop fs -rmr /hbase/default/data/
2020-05-19 15:37:40
2599
原创 Hbase 2.x使用协处理器
最近在使用hbase的协处理器同步rowkey到es的时候 ,碰到这种错误去官网查了查.http://hbase.apache.org/2.0/book.html#quickstart发现在2.x版本中使用 需要换成这种方式implements RegionObserver,RegionCoprocessor并且要重写 Optional 方法@Override public Optional<RegionObserver> getRegionObserver() {
2020-05-19 14:01:19
509
原创 HBase添加协处理器时，出现错误
ERROR: org.apache.hadoop.hbase.DoNotRetryIOException: Class cn.com.newbee.feng.MyRegionObserver cannot be loaded Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks解决方法:在hdfs-site.xml中添加配置信息<prope
2020-05-19 11:09:36
1794
原创 Hbase添加和删除列族
hbase> alter ‘hbasetest’, {NAME => ‘cf2’, VERSIONS => 800}hbase> alter ‘hbasetes’, {NAME => ‘cf2’, METHOD => ‘delete’}
2020-05-14 19:06:09
6456
1
原创 Hadoop3.0的新特性
参看 hadoop 官网 http://hadoop.apache.org/docs/r3.0.0/不再支持jdk1.7 改为1.8MR基于内存+io+磁盘,共同处理数据hdfs通过最近block计算,据说要比spark快十倍…希望如此吧数据纠删码(EC) 通过在原始数据中加入新的校验数据,使得各个部分的数据产生关联性.在一定范围的数据出错情况下,通过纠删码技术都可以进行恢复.达到实现1份数据+0.5份冗余校验数据存储方式的效果,节省一半的存储空间(nb)Tasknative优化：为MapRed
2020-05-14 17:31:07
184
原创 maven打包错误 Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:2.6:resource
是因为target 文件夹被其他程序访问,关上就行了
2020-05-13 08:32:02
306
原创 Cdh版本下 sprak-shell启动失败
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user/spark/applicationHistory":spark:supergroup...
2020-05-07 15:29:07
143
原创 centos 7 docker使用阿里云镜像加速
访问https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors在/etc/docker/下创建 daemon.json 添加从阿里云复制来的{“registry-mirrors”:[“https://reg-mirror.qiniu.com/”]}重启dockersudo systemctl daemon-reloadsud...
2020-05-07 11:59:02
108
原创 Centos 7 安装docker
1.官方建议内核版本 为3.10以上查看内核版本uname –a2.将yum更新到最高版本yum update3.安装最新版本的dockeryum install -y yum-utils && yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-c...
2020-05-07 11:25:39
130
原创 javaapi连接hive报错Required field 'client_protocol' is unset!
解决办法.在确认url和账号密码无误的情况下将pom文件hive-jdbc的版本和你的hive版本改为一直即可 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> ...
2020-05-07 10:06:42
277
原创 Hbase进行RowCount统计
参考https://blog.csdn.net/m0_37739193/article/details/75286496?depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1&utm_source=distribute.pc_relevant.none-task-blog-BlogC...
2020-04-28 15:48:12
181
原创 使用Es构建hbase的二级索引
ES版本为7.6.2Hbase版本为2.1.0思路:先将hbase的rowkey当做索引存入到ES中 ,根据habse中的字段来读取出ES中索引,再去habse查找响应的数据用到的依赖:<dependencies> <dependency> <groupId>org.apache.hadoop</group...
2020-04-28 11:32:23
801
原创 java连接ES集群报错 NoNodeAvailableException[None of the configured nodes are available
首先检查client 连接里面的集群名字有没有写错 要和elasticsearch.yml中配置的一致Java连接的端口号是9300将elasticsearch.yml中的network.host改为 0.0.0.0这些修改后可能会出现另外一个错误Exception in thread “Thread-1” java.lang.NoSuchMethodError: io.netty.b...
2020-04-27 11:01:02
614
原创 使用idea远程控制hadoop集群 habse,hive
1.首先下载必要的东西Hadoop的jar包 这里用的是3.xhttp://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gzwinutils工具包https://codeload.github.com/s911415/apache-hadoop-3.1.0-winutils/zip/maste...
2020-04-24 12:02:03
266
原创 Hive数据通过表关联导入数据到hbase
1 创建映射表 如果删除hive表 hbase表也会跟着删除,不想删除可以创建hive外部表(create external table)CREATE TABLE hive_hbase_table(key int, name String,age int) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITH SER...
2020-04-20 10:20:00
324
原创 CDH6.2 安装 ES集群 7.6.2
三台机器 cdh1,cdh2,cdh3Es版本为 elasticsearch-7.6.2解压到opt/software/ESES不能在root用户启动groupadd elsearchuseradd elsearch -g elsearchchown -R elsearch:elsearch /opt/software/ES使用root用户创建ES数据文件和日志文件 mkdir /...
2020-04-18 16:22:27
1040
1
原创 elasticsearch启动报错ERROR
the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured解决办法:vim elasticsea...
2020-04-18 14:05:07
218
原创 Hbase Master启动失败
Permission denied: user=hbase, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x解决办法;先检查hdfs下是不是有/hbase ,如果没有先新建/hbase,新建后更改权限1.hdfs dfs -ls /2.hdfs dfs -mkdir /hbase3.hdfs dfs -chmod 777 /hbase...
2020-04-18 09:18:02
371
原创 Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access
yarn启动报错Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=mapred, access=WRITE, inode="/user":hdfs:supergroup:drwxrwxr-x解决办法:更改/user的权限，hdfs dfs -chmod 777 /user...
2020-04-18 09:16:36
790
原创 java.io.FileNotFoundException: File does not exist:
Sqoop从mysql导入文件到hdfs 报错ERROR tool.ImportTool: Import failed: java.io.FileNotFoundException: File does not exist: hdfs://cdh1.host.com:8020/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.2.1-mr-framework...
2020-04-18 09:15:25
5598
1
原创 hadoop常用命令
hadoop dfs -mkdir /home 创建目录上传文件hadoop dfs -put local.txt /上传目录hadoop dfs -put localdir/ /下载文件删除目录hadoop dfs -rm /dir重命名hadoop dfs -mv /dir1 /dir2查看文件hadoop fs -ls /txt查看dfs的情况hadoop dfsa...
2020-04-17 16:15:00
80
原创 CDH6.2使用solr构建Hbase二级索引
需要用到key-value store indexerkey-value store indexer 是一个基于hbase的replication特性而实现的能够动态的将hbase的二级索引同步给solr的组件,并且可以批量导入索引,增量同步索引,同步时延比较小,几乎近实时,好东西Hbase表需要开启REPLICATION复制功能实现集群间的相互复制创建表create ‘test’...
2020-04-17 11:07:42
626
原创 yum源更换
1. 首先备份/etc/yum.repos.d/CentOS-Base.repomv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2. 下载对应版本repo文件Centos7:wget -P /etc/yum.repos.d http://mirrors.163.com/.help/Ce...
2020-04-14 09:51:14
95
原创 几种不同的推荐系统
先贴几张图吧 ,等项目上线后会贴上代码.有啥好的建议的也可以评论交流1.推荐系统的实现:一般推荐系统少不了以下三大块: 1,用户建模 2,推荐对象建模 3,推荐算法建模 这里是拿一个汽车商城为例2.基于数据库.**这个实现起来比较好做,但是数据库的中数据不能太复杂,而且要有联系.3基于第三方在有广告商的情况下,'强制'推荐4.基于内容推荐借鉴:基于内容的推荐...
2018-11-07 18:20:26
500
原创 使用python解常规的一元二次方程
想我当初闭着眼都能解…不知不觉十年都快过去了如图,上面是方程格式,下面是常规解法其实还有很多更优的解法 . 这个就不多说了代码如下`#导入math包 , 下面开方要用到#导入math包 , 下面开方要用到import mathdef qua(a,b,c): if not isinstance(a,(int,float)): raise TypeErr...
2018-11-07 16:50:59
395
原创 flink安装
flink安装Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。这里是Standalone 模式1.下载官网链接:(https://flink.apache.org/downloads.html)官网入门程序:(https://ci.apache.org/projects/flink/flink-docs-release-...
2018-10-27 10:54:51
305
原创 Gson入门
Gson的使用Java对象和Json之间的互转，一般用的比较多的两个类库是Jackson和GsonSerialization:序列化，使Java对象到Json字符串的过程。Deserialization：反序列化，字符串转换成Java对象Gson的创建方式：导入maven依赖<dependency> <groupId>com.google.code.gson...
2018-10-18 14:23:34
91
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人