2016年07月_huguoping830623

12月 11月 09月 08月 07月 05月 03月 02月 01月

原创 Hadoop集群磁盘数据迁移

背景由于历史原因，CDH的hadoop的每个datanode节点有3个数据磁盘，每个磁盘的大小不一样data 500Gdata1 2Tdata2 2T由于阿里云的根目录很小，只有20G，所以MR的中间文件，日志等只能跟数据盘共用。然后，Hadoop在写入数据的时候，会先写满一个磁盘再写其他磁盘，这样某个磁盘满了，就不能在写入日志和中间文件，导致无法进行MR，

2016-07-14 17:06:20 3504

原创 yarn node manager启动失败

/data/lib/hadoop-yarnmv yarn-nm-recovery /tmp/20160225bak Application application_1456459092764_0002 failed 2 times due to AM Container for appattempt_1456459092764_0002_000002 e

2016-07-14 17:02:10 2007

原创 sqoop常见问题

sqoop导入mysql的tinyInt(1)字段，会自动转化成boolean。解决办法是在jdbc连接中加上tinyInt1isBit=falsesqoop导入parquet全量数据时，spark sql 无法识别

2016-07-14 17:01:31 549

原创 Spark SQL的常见问题

问题：spark sql执行生成的数据文件为大量的小文件。原因：spark sql目前版本不支持小文件的合并。临时解决方案：spark sq生成数据后，使用hive进行select 和 insert overwrite操作。

2016-07-14 16:58:54 1003

原创 HiveServer2的常见问题

在使用hiveserver2查询时（比如HUE，或者beeline连10000端口），会遇到这样的问题，where语句后如果使用了between，则between的两个值必须不一样，否则在hiveserver2中是查不出数据的，如果值一样的时候，直接用“=”。例如： where date between 20160425 and 20160425 (hiveserver2 not OK,

2016-07-14 16:56:01 2321

原创 CDH问题汇总

问题1：在主节点初始化 CM5的数据库报错：ld-linux.so.2 bad ELF interpreter解决：安装 glibc 和 glibc.i686 问题2：报错：ProtocolError: 解决：$> ps -ef | grep supervisord$> kill -9 /opt/cm-5.6.0/etc/init.d/cloudera-sc

2016-07-14 16:54:39 1649

原创 kafka常见问题

1、java消费者不能消费数据--------版本不匹配问题工程代码引用的kafka jar包的版本，要与线上安装包的版本一致。否则会出现消费者消费不到数据的问题

2016-07-14 16:52:40 695

原创 Impala问题汇总

1、时区问题：默认impala配置不是中国的时区，所以在用from_unixtime的时候，有误差。解决方案：impala启动时加 -use_local_tz_for_unix_timestamp_conversions=true在cdh里面，impala->配置->mpala Daemo ->Impala Daemon 命令行参数高级配置代码段（安全阀）加 -us

2016-07-14 16:51:52 4054 1

原创 sentry配置

官方文档：http://www.cloudera.com/documentation/enterprise/5-4-x/topics/sg_policy_cm_config.html#concept_nt1_c1z_zp_unique_11.开启testing.mode（否则需要先配好Kerberos )cm中hive的配置->sentry-site.xml添加：sentry

2016-07-04 15:55:56 1856

原创 scala 执行 hive,hadoop,mysql等命令

import java.sql.{DriverManager, Connection, ResultSet}import scala.sys.process.Processobject Test2 { def main(args: Array[String]) { print(execute()) } def execute(): Int = { var seq=Seq("

2016-07-04 15:49:17 1613

百度地图MarkerClusterer卡顿问题

亲测好用的百度地图海量marker性能优化，把百度地图的MarkerClusterer.js，替换成我提供的js，其他代码原样不动。我也提供了一个实例，可以直接使用

2018-08-06

自动登录开心网，并给好友发信息

java模拟登陆开心网，给好友发送消息,获取消息条数，commons-httpclient-3.1.jar，commons-codec-1.3，jar 完全用java代码虚拟登陆开心网，可用给好友群发消息，获取消息条数等等，里面已经包含说需要的jar文件。你可以通过登录开心网的学习登陆其他的网站…… 经测试，修改相关参数在校内网有效

2013-01-25