ye_chen_的博客

原创 atlas rest api - 使用rdb类型创建实例

"description": "dwd_sale_saleorderd_i的数据来自ods_sga_saleorderdtl,ods_sga_saleorder, ods_bd_customer,ods_t_sys_org",//dwd_sale_saleorderd_i的guid，创建实体从返回的信息中获取。//rdbms_instance的guid，创建实体从返回的信息中获取。//rdbms_instance的guid，创建实体从返回的信息中获取。--删除entity。

原创 hive建表解决中文乱码

1.2 在 mysql 修改hive元数据表注释和字段注释的编码为 utf-8。修改表字段注解和表注解。

原创 Sqoop导入数据至hive卡死在hive.HiveImport: Connecting to jdbc:hive2不执行...

添加配置user=hdfs;暂时未找到永久的解决办法。

原创 数据中台部署-Oracle数据库版本不支持DBLOGREADER抽取数据

需要Oracle 10.2.0.5或11.2.0.2或更新的库版本才能使用DBLOGREADER方式。

原创 数据中台部署-zk启动正常，但是连不上Factory method ‘zkService‘ threw exception； nested exception is java.lang.Excepti

原因分析：zk连接数过多。

原创 数据中台部署-storm启动Topology 无工作节点

原因：storm配置里面的端口被用完了。解决办法：配置中增加端口号。

原创 数据中台部署-dbus启动拓补异常

解决办法：配置中心-重新初始化storm。问题原因：storm包获取异常。

原创 数据中台部署-zk报错zookeeper.ClientCnxn: Socket connection established，Will not attempt to authenticate

原创 数据中台部署-resource manage无法启动，Connection failed to http://djt-0001:8088 ([Errno 104] Connection res

使用指定配置文件启动，更新配置influxd -config /etc/influxdb/influxdb.conf。/etc/influxdb/influxdb.conf中没有reporting相关端口配置8088，手工打开注释。原因：8088端口与influxdb冲突。解决办法：修改influxdb端口。

原创 数据中台部署-KeeperErrorCode = NoNode for /atsv2-hbase-unsecure/meta-region-server

前段时间在虚拟机安装ambari之后一直也没有做测试，今天起来将集群启动发现有些组件启动时遇见一些问题，在这里记录一下。1. DataNode 无法启动DataNode启动成功后就死掉了。需要将YARN中的配置 YARN>CONFIGS>ADVANCED>yarn-hbase-site>zookeeper.znode.parent 的值修改为 HBase 中的配置的值ZooKeeper Znode Parent。Ambari 环境启动时遇到的一些问题记录 | hnbian。

原创 数据中台部署-DBus心跳异常

2.修改配置文件中相关占位符，匹配dbus的conf.properties配置。检查init的时候 dbus-heartbeat是否正常解压及修改配置项。1.修改conf文件夹名称。看日志发现心跳插入数据异常。

原创 数据中台部署-DBus初始化storm配置报错

解决办法：

原创 数据中台部署-DBus登录不了，nginx访问500报错

问题原因：教程中的build文件解压目录有问题，导致无法找到文件。修改build解压路径到正确的安装路径，我的是。

原创 数据中台部署-init Dbus时出现文件找不到

Exception in thread "main" java.io.FileNotFoundException: ./dbus-heartbeat-0.5.0/conf/consumer.properties (没有那个文件或目录)直接创建文件夹 给文件夹授权。

原创 数据中台部署-Nginx启动失败 nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address already in use)与httpd冲突

解决办法：修改httpd监听端口，# 修改httpd服务的监听端口。# 打开httpd配置文件。

原创 数据中台部署-Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:hdfs:drwxr-xr-x

解决方案：切换hdfs用户 给hadoop用户操作权限 或修改hdfs目录权限。

原创 数据中台部署-（sudo ambari-server start）Ambari启动报错：

当客户端连接服务端超时(超过connect_timeout), 服务端就会给这个客户端记录一次error，当出错的次数达到max_connect_errors的时候，这个客户端就会被锁定。所以根据业务来尽量把这个值设置大一点，mysql默认值为10，我们可以根据具体需要设置大一点，这里设置为1000.（并非越大越好，越大被攻击时安全性越低）。同一个ip在短时间内产生太多（超过mysql数据库max_connection_errors的最大值）中断的数据库连接而导致的阻塞；到这一步，就解决了问题了。

原创 数据中台部署-安装mysql报错 The GPG keys listed for the “MySQL5.7 Community Server“ repository are already inst

找到[mysql5.7-community] 修改：gpgcheck参数为0，即不校验gpg。解决办法：禁用GPG验证检查。

原创 Oracle数据库分页查询出现重复数据的解决办法

优化过一次SQL，结果生产环境上出了问题，分页查询有重复数据。原SQL使用order by 进行分页查询，出现数据重复的问题，排查后发现是数据库没有唯一字段导致。暂时能想到的解决办法是：1.order by 后面条件需要加上数据库里的唯一字段做区分。2.若数据库不存在可区分的唯一字段，就只能根据row_id进行排序 ，因为这样跟业务没有联系，所以一般不推荐...

原创 sql笔记

1、----------------------where和having------------------------2、where      where子句的作用是在对查询结果进行分组前，将不符合where条件的行去掉，即在分组之前过滤数据，条件中不能包含聚合函数，使用where条件显示特定的行。 3、having      having子句的作用是筛选满足条件的组，即在分...

原创 关于jsonobject类型的Null值怎么判断的问题，JSONObject$Null

取出的值为null,并不是字符串“null”,用object == null 判断结果为false;后面发现这个null和定义的null不同，后面找到object自带的方法使用这个方法返回true......JsonObject.isNull。当然，可以的话，尽量不用 JsonObject...