- 博客(10)
- 资源 (240)
- 收藏
- 关注
RSS订阅转载 Cloudera Manager API v18
介绍本文档描述了Cloudera Manager REST API。å所有请求和响应都以Javascript对象表示法(JSON)表示。下面列出的API资源遵循标准的createread-update - delete (CRUD)语义，其中HTTP请求路径定义要执行的实体，而HTTP方法表示要执行的操作类型。HTTP Method Operation POST Cre...
2019-03-28 09:44:59
889
原创 hbase shell命令进不去
hbase shell命令报错信息日志信息显示解决方案：根据参考改echo 0 > /proc/sys/vm/overcommit_memory：问题还是报错echo 1 > /proc/sys/vm/overcommit_memory：问题解决。参考：http://www.bubuko.com/infodetail-2...
2019-03-25 10:11:22
4989
原创 Hadoop在安装snappy过程中的问题
Linux2.6.32-504.el6 hadoop-2.7.3 jdk1.8.0_171问题： 测试机中已经有一套搭建好了的Hadoop集群，所以在往生产环境部署Hadoop集群时，直接将测试机中编译好的Hadoop版本上传到生产环境中即可，然后修改下配置文件集群就搭建成功了。但由于当时在搭建集群时没有考虑使用snappy来对文件压缩，所以在Hadoop的动态库中就没有Snappy的...
2019-03-13 15:08:32
592
原创 Unable to load native-hadoop library for your platform...
在执行hdfs命令时，会有一个警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable我们增加调试信息看问题出在了哪里。增加调试信息有两种方式，1、在执行命令前加一条如下命令...
2019-03-13 12:21:17
3866
原创 sqoop 导oracle数据到hbase character string buffer too small
发现问题出在写的sql语句中的：to_char(dbms_lob.substr(A.OPSDESC,4000))原因分析在对CLOB进行的TO_CHAR处理，可以理解为将CLOB中存储的信息转换成varchar2，然后在进行展现，大家都知道对于varchar2来言，最多存储4000个字符，当超出4000字符时，就报错了。错误的大致意思就是超出了varchar2的缓冲大小。...
2019-03-08 16:43:48
494
原创 解决HBase Replication在数据大量写入时导致RegionServer崩溃问题
针对集群habse不能读写原因以及配置hbase昨天一直在进行拆分与合并，如果StoreFile文件数量超出hbase.hstore.blockingStoreFiles大小 ，导致hbase读写前必须先进行 split(或者compaction),阻塞memStore的数据flush到磁盘中，同时把该region添加到flushQueue，延时刷新(flush)，这期间会阻塞写操作直到comp...
2019-03-08 14:17:52
950
转载 关于Hadoop数据块Miss在页面提示的问题
这个文档转至台湾的已了论坛，地址是：http://hadoop.nchc.org.tw/phpbb/viewtopic.php?f=4&t=1938https://blog.csdn.net/dajuezhao/article/details/6319705請教一個hadoop運行維護中的問題：背景：調整hadoop配置：1. hadoop的dfs.replicatio...
2019-03-05 17:57:09
214
转载 分分钟解决HDFS无法启动的一个小问题------HDFS启动后一直处于安全状态
文章转自：原创：任航若泽大数据问题 :HDFS启动后一直处于安全状态解决过程：1.查看hadoop namenode的启动日志1STARTUP_MSG: Starting NameNode2STARTUP_MSG: host = hadoop001/192.168.137.1413STARTUP_MSG: args = []4STARTUP_MSG: v...
2019-03-04 10:56:16
4923
1
原创 生产HDFS Block损坏恢复最佳实践
1、上传文件hello.txt[root@cdh-node01 apps]# hdfs dfs -mkdir /blockrecover[root@cdh-node01 apps]# echo "hello word" > hello.txt[root@cdh-node01 apps]# hdfs dfs -put hello.txt /blockrecover[root@c...
2019-03-04 10:55:19
1468
原创 hbase导入数据过多问题
17:54:10.768 [hconnection-0xfca67ce-shared--pool1-t1169] WARN o.a.hadoop.hbase.client.AsyncProcess - #149, table=CDR_QUALITY_ROWKEY, attempt=1/35 failed=1ops, last exception: org.apache.hadoop.hbase.D...
2019-03-01 11:36:44
1941
Elasticsearch搜集的资料
2018-12-29
flink大厂实战经验.zip
2021-06-22
Elasticsearch7.10.0集成IK相关性同义词改源码实现MySql5.7.2实现远程动态同义词词库实时更新.pdf
2021-06-22
离线安装用到的 requests 和pip库
2021-03-26
2019年5月11号_Apache Flink China Meetup - 上海站 Meetup.zip
2019-05-21
Apache Kafka × Apache Flink Meetup-北京站20190512.zip
2019-05-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人