- 博客(5)
- 收藏
- 关注
RSS订阅转载 连物联网数据都理不清楚还怎么搞大数据分析？
http://iot.ofweek.com/2017-04/ART-132214-8120-30122147.html数据即价值是目前计算机领域极其推崇的观念。数据无论多少都被归结为大数据，数据分析越来越热门，资本也对贴有大数据标签的公司趋之若鹜。数据如同流动的数字货币一样被一再的评估、追崇。当物联网在行业开始落地和应用后，由于其数据产生的速度之快，种类之多，体量之巨大都会对现有云端技术架...
2018-09-16 18:13:46
5570
原创 通过PySpark访问Hbase并转成DataFrame
介绍PySpark访问Hbase的两种方法，一种是通过newAPIHadoopRDD，读取Hbase为RDD，并转成DataFrame，另一种是在Hive里建立Hbase的外部表，然后通过Spark Sql读取一、通过newAPIHadoopRDD读取#spark连接hbase，读取RDD数据spark = SparkSession.builder.master("yarn-clien...
2018-09-15 21:58:54
4474
3
翻译 IoT数据科学与传统数据科学的10个差异
在过去的20年中，已经有超过60亿台的设备连网。所有连接的“事物”（统称为“物联网”）每天产生超过2.5个5万亿字节的数据，这每天足以填满575亿个32 GB的iPad（来源 Gartner）。所有这些数据必将在未来几年对许多业务流程产生重大影响。因此，物联网分析（IOT的数据科学）的概念有望推动物联网的商业模式，据福布斯报道，强大的分析能力会使得在物联网上更快取得成功。物联网的数据科学与传统...
2018-07-21 11:59:19
1022
原创 sqoop job执行时避免输入密码
每次执行sqoop job时，会提示输入密码，如何避免呢，有两种方法：1、在sqoop-site.xml 文件中设置：sqoop.metastore.client.record.password=true sqoop-site.xml的位置：${SQOOP_HOME}/conf下面，例如：/opt/cloudera/parcels/CDH-5.13.0-1.cdh5.13.0.p0.29/lib/...
2018-05-26 16:49:23
2235
原创 sqoop定时增量抽取数据到hive
1、 第一次全量抽取，并创建hive表#keberos认证kinit -kt hdfs.keytab hdfs#从oracle导数据到hivesqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\ --username xxx--password xxx\ --table PROD_FD...
2018-05-26 15:35:26
5379
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人