大数据
夏天de雪
like IT,just to be a coder
展开
-
sqoop导数据总结
1.MySQL ==》HDFS: sqoop import –connect jdbc:mysql://hd03/test –username root –password 123456–table stu –target-dir /user/root/stu 2.向已经存在HDFS目录追加数据 sqoop import –connect jdbc:mysql://hd03/test –us原创 2016-10-16 12:10:15 · 358 阅读 · 0 评论 -
Java API操作hbase
最近用到hbase,由于hbase是Java语言开发的,用Java操作hbase比较方便,提供的方法很多。下面是一些操作例子。 创建/删除表(DDL):HBaseAdmin hBaseAdmin = new HBaseAdmin(configuration);if (hBaseAdmin.tableExists(tableName)) { hBaseAdmin.disableTable(ta原创 2016-10-16 16:17:02 · 402 阅读 · 0 评论 -
Storm 性能优化
最近学习storm,本文是转自同事分享的内容: 场景假设 在介绍 Storm 的性能调优方法之前,假设一个场景: 项目组部署了3台机器,计划运行且仅运行 Storm(1.0.1) + Kafka(0.9.0.1) + Redis(3.2.1) 的小规模实验集群,集群的配置情况如下表: 现有一个任务,需要实时计算订单的各项汇总统计信息。订单数据通过 kafka 传输。在 Storm 中创建转载 2016-11-13 23:19:57 · 12752 阅读 · 1 评论 -
矩阵向量求导
数据挖掘中常用到矩阵求导,而之前学的高数里求导没有矩阵,线性代数中矩阵没有求导。现总结如下:原创 2016-12-04 00:55:03 · 481 阅读 · 0 评论