![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
teak_on_my_way
这个作者很懒,什么都没留下…
展开
-
大数据技术在P2P监测系统的应用和实践
【摘 要】:近年来,随着互联网金融行业的迅猛发展,P2P平台数量激增如雨后春笋般涌现,虽然推动了互联网金融生态系统的形成并促进了金融服务的繁荣。但是由于缺乏对互联网金融行业风险的有效控制,导致P2P行业屡屡发生倒闭、跑路、兑付危机等负面事件,不但使广大金融投资者损失惨重,也扰乱了国家的金融秩序,给社会带来了不安定因素。互联网金融协会为了全面、及时掌握P2P行业发展情况, 监控P2P机构运营风险...原创 2020-01-10 16:58:11 · 906 阅读 · 0 评论 -
hadoop 采用distcp命令进行导数据,解决namenode节点切换导致的异常
使用distcp命令hadoop distcp -overwrite hdfs://namenode1:8020/tmp/T_PUBLIC_OPINIONS_INFO hdfs://namenode11.201/tmp/T_PUBLIC_OPINIONS_INFOnamenode切换由于集群重启或者是维护等问题,集群可能会出现namenode切换等问题。导致数据无法复制等问题,所以我们应当...原创 2019-12-16 09:59:31 · 565 阅读 · 0 评论 -
JAVA 远程连接Hbase需要开通的网络端口
今天突然要把后端和数据库分离,所以就遇到了这个问题,网络一直调不通Caused by: java.net.SocketTimeoutException: callTimeout=60000, callDuration=67926: This connection is closing row 'airelinecompanyflyingteaminfo,,' on table 'hbase:me...原创 2019-11-29 19:30:18 · 2694 阅读 · 0 评论 -
Impala简单查询hive与Hbase效率
简单对比测试Impala查询hive和hbase在hive和hbase中插入同样的数据73亿条。1. 测试查询100条数据在impala中查询hbase的100条数据,花费了6秒左右。直接在hbase中查询花费0.3秒。在impala中查询HIVE也是0.5秒左右。2. 测试根据ROWKEY查询在Hbase中查询,花费了0.09秒。在impala中查询花费0.5秒。在i...原创 2019-11-13 11:11:23 · 1028 阅读 · 2 评论 -
采用hive自带的方法生成Hfile,并将上亿大数据量导入HBASE
由于希望能够直接从HIVE往Hbase导数据,不使用其他脚本,且希望使用比较简便的方法,故编写此博客原创 2019-11-08 15:06:25 · 3612 阅读 · 6 评论 -
easyscheduler 定时调度使用方法
1.设置定时任务之前使用easyscheduler做设置定时调度时出现每秒执行一次了,不清楚为什么,故留作记录。2.注意设置定时任务时需要先调整秒的配置,例如每5分钟一次的调度,需要先将秒的调度设置为如下图所示,不可以按照默认每秒执行,否则后续调度还是会按照每秒进行执行。3.执行效果...原创 2019-10-22 12:17:00 · 1264 阅读 · 0 评论