- 博客(23)
- 收藏
- 关注
RSS订阅转载 Spark-sql 读hbase
SparkSQL是指整合了Hive的spark-sql cli, 本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler 拷贝HBase的相关jar包到Spark节点上的$SPARK_HOME/lib目录下，清单如下： ...
2017-12-15 08:34:00
239
转载 hbase 写操作产生的木桶效应
生产环境中hbase的写存在木桶效应，具体体现在hbase写入数据缓慢，在参数优化极好的情况下，仍然没有解决问题。经过多次的排查，产生问题的原因有2个： 1.网络问题 某个节点的网卡出现不明显故障，造成该节点网速传输速度下降。 2.异构设备磁盘硬件I/O 有时候很多利旧设备...
2017-12-07 21:43:00
199
转载 Hadoop MapRduce 重写DBOutputFormat更新mysql数据库
/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed wi...
2017-12-04 22:55:00
180
转载 mysql 分表
创建的分表必须是 ENGINE=MyISAM 例如这里我们分两个表member1,member2 DROP table IF EXISTS member1;create table member1( id bigint primary key auto_increment ,...
2017-12-03 22:11:00
130
转载 hbase 日常运维
1 Hbase日常运维 1.1 监控Hbase运行状况 1.1.1 操作系统 1.1.1.1 IO a. 群集网络IO，磁盘IO，HDFS IO IO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，...
2017-11-27 10:05:00
261
转载 ambari 安装过程 注意事项
1.如果使用脚本部署请拔掉一根网线 2.修改进程限制 /etc/security/limits.d/90-nproc.conf 修改1024 为unlimited 3.ntpd ，httpd 服务开启，设置开机启动，防火墙关闭,设置开机关闭 4.修改文件描述符大小(65536) 打开文件数...
2017-11-27 09:57:00
349
转载 oozie web ui kerberos访问
本例使用FireFox浏览器： 1.在Firefox浏览器URL里输入：about:config 2.设置以下两个配置项： network.negotiate-auth.trusted-uris=.bigdata network.auth.use-sspi=false 3.重启Fir...
2017-11-23 17:42:00
703
转载 hive 插入中文乱码
插入数据时，要将中文数据转码为 iso8859-1 new String("测试数据".getBytes(),"iso8859-1"); 如果是shell 将shell 工具转为iso 编码格式 ...
2017-11-23 17:40:00
460
转载 Hive格式各种格式下不同压缩算法的比较
原始Text格式的hive分区大小为119.2G。 压缩算法 Text格式 Parquet格式 ORC RCFile 不压缩 119.2G 54.1G 2...
2017-11-23 17:39:00
159
转载 Hbase集群间数据迁移方法总结
今天花了一天的时间查资料做测试，略微的总结了一下hbase数据迁移的方法。 一、需要在hbase集群停掉的情况下迁移 步骤：(1)执行hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest" (2)在...
2017-11-23 17:38:00
119
转载 ambari 干掉一个namenode 从新安装最快的方式
具体实施步骤： 1.干掉之前，将namenode迁移走，不迁移也可以（ps:安装之后需要拷贝namenode的目录） 2.ZooKeeper Server在别的节点创建一个 3.JournalNode ambari 没法创建，只能这样，等待安装完成之后将别的节点的JournalNode ...
2017-11-23 17:36:00
782
转载 hbase分页
hbase 分页小例子，相比于PageFilter的话，效率要高（ps:这个效率高，是指设计的表rowkey很合理） publicList<Map<String,String>>getKkListLnHbaseNew(Stringbegin,St...
2017-11-22 19:32:00
116
转载 region server在写入减少睡眠等待时间
region server在写入时会检查每个region对应的memstore的总大小是否超过了memstore默认大小的2倍(hbase.hregion.memstore.block.multiplier决定)，如果超过了则锁住memstore不让新写请求进来并触发flush，避免产生OOM...
2017-11-22 09:49:00
99
转载 coprocessor
添加 *disable'emp' *alter'emp',METHOD=>'table_att','coprocessor'=>'hdfs://mycluster:8020/ldstest/coprocess.jar|com.test.coprocessor.Pla...
2017-11-22 09:47:00
176
转载 jar包版本不一致问题引起的hbase region 连续挂掉
hbase-annotations、hbase-client、hbase-common、hbase-protocol 版本要与集群的版本一致，否则可能会造成regionserver dead掉 ...
2017-11-22 09:47:00
198
转载 Hbase split的三种方式和split的过程
当一个reion达到一定的大小，他会自动split称两个region。如果我们的Hbase版本是0.94 ，那么默认的有三种自动split的策略，ConstantSizeRegionSplitPolicy,IncreasingToUpperBoundRegionSplitPolicy还有Ke...
2017-11-22 09:45:00
156
转载 将hadoop安装部署到window
1.将hadoop 安装部署包解压到window的硬盘中，比如解压到d:/hadoop 2.设置环境变量 HADOOP_HOME 一定要大写 3.去github上下载hadoop-common-2.2.0-bin-master 然后解压，将d:/hadoop/bin 目录全部替换为hado...
2017-11-22 09:44:00
231
转载 hadoop 集群txid不一致
hadoop 集群txid不一致，可以执行Hadoop namenode -recovery 或者修改seen_txid 文件中的内容进行修改 转载于:https://my.oschi...
2017-11-22 09:43:00
409
转载 access control error while attempting to set up short-circuit
due to InvalidToken exception. org.apache.hadoop.security.token.SecretManager$InvalidToken: access control error while attempting to set up short-...
2017-11-22 09:41:00
1537
转载 Invalid signature file digest for Manifest main attributes
hadoop MR 提交任务时，报: Invalid signature file digest for Manifest main attributes 或者hbase shell ，hive 命令行进不去 可能有人对大数据jar 进行了修改 这是因为需要将jar 里的META-IN...
2017-11-22 09:13:00
217
转载 hadoop 添加proxyuser
hadoop 添加proxyuser 不需要重启集群生效，运行命令： hdfs dfsadmin -refreshSuperUserGroupsConfiguration yarn rmadmin -refreshSuperUserGroupsConfiguration ...
2017-03-20 15:17:00
610
转载 HUE问题总结1
1.如果HUE 在hdfs 上只能创建文件夹，不能创建文件怎么办？ 将hadoop的 hosts 都配置到hue这台机器上的hosts 中，不要有遗漏 2.运行oozie 报错，proxyUser cannot be null, If you're attempting to use u...
2017-03-20 15:15:00
289
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人