- 博客(5)
- 收藏
- 关注
转载 连物联网数据都理不清楚还怎么搞大数据分析?
http://iot.ofweek.com/2017-04/ART-132214-8120-30122147.html数据即价值是目前计算机领域极其推崇的观念。数据无论多少都被归结为大数据,数据分析越来越热门,资本也对贴有大数据标签的公司趋之若鹜。数据如同流动的数字货币一样被一再的评估、追崇。当物联网在行业开始落地和应用后,由于其数据产生的速度之快,种类之多,体量之巨大都会对现有云端技术架...
2018-09-16 18:13:46
5570
原创 通过PySpark访问Hbase并转成DataFrame
介绍PySpark访问Hbase的两种方法,一种是通过newAPIHadoopRDD,读取Hbase为RDD,并转成DataFrame,另一种是在Hive里建立Hbase的外部表,然后通过Spark Sql读取一、通过newAPIHadoopRDD读取#spark连接hbase,读取RDD数据spark = SparkSession.builder.master("yarn-clien...
2018-09-15 21:58:54
4474
3
翻译 IoT数据科学与传统数据科学的10个差异
在过去的20年中,已经有超过60亿台的设备连网。所有连接的“事物”(统称为“物联网”)每天产生超过2.5个5万亿字节的数据,这每天足以填满575亿个32 GB的iPad(来源 Gartner)。所有这些数据必将在未来几年对许多业务流程产生重大影响。因此,物联网分析(IOT的数据科学)的概念有望推动物联网的商业模式,据福布斯报道,强大的分析能力会使得在物联网上更快取得成功。物联网的数据科学与传统...
2018-07-21 11:59:19
1022
原创 sqoop job执行时避免输入密码
每次执行sqoop job时,会提示输入密码,如何避免呢,有两种方法:1、在sqoop-site.xml 文件中设置:sqoop.metastore.client.record.password=true sqoop-site.xml的位置:${SQOOP_HOME}/conf下面,例如:/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/...
2018-05-26 16:49:23
2235
原创 sqoop定时增量抽取数据到hive
1、 第一次全量抽取,并创建hive表#keberos认证kinit -kt hdfs.keytab hdfs#从oracle导数据到hivesqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\ --username xxx--password xxx\ --table PROD_FD...
2018-05-26 15:35:26
5379
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人