hehuangwei-CSDN博客

原创 SparkSQL对hive数据源进行操作

SparkSQL提供了HiveContext类，它继承与SQLContext，因此不仅具有SQLContext的功能，而且还可以直接操作hive表中的数据，以及执行hive的sql语句。在上篇中，使用了json数据来表示表数据，然后后对表数据进行join操作，需要在javaRDD和DataFrame中转来转去，稍显繁琐。本篇继续上一个问题，使用SaprkSQL对同样的两张表数据进行过滤并join

2015-11-20 09:06:32 1647

原创 Josephu程序

Josephu问题，设编号分别为：1, 2 , … . , n的n个人围坐一圈。约定序号为k(1≤k≤n)的人从1开始计数，数到m的那个人出列，他的下一位又从1开始计数，数到m的那个人又出列，依次类推，直到所有人出列位置。输出结果为：

2015-11-20 00:43:28 199

原创使用SparkSQL的DataFrame对表数据进行过滤及多表关联操作

引言 DataFrame是spark 1.3版本之后引入的功能，大大扩展了SparkSQL的编程，借助于DataFrame，可以对不同的数据源进行操作，包括RDD，json，parque，jdbc，hive表等。本篇有感于DataFrame的强大，对DataFrame的使用做一下笔记。假设有两个表数据，studentInfo表和studentScore表，表数据结构如下：现在需要过滤分数大于

2015-11-19 23:41:55 3636

原创 Learning storm笔记(一)

一、storm的特点快速：据称每秒钟可以处理100万条tuple水平扩展：可以在集群中通过添加节点来扩展处理能力容错性：当工作进程挂掉之后，可以迅速重新启动该工作进程，如果该进程的节点挂掉了，则在其他节点上启动工作进程。保证数据被处理：提供的保证措施，保证每条进入集群中的消息被处理易操作：storm部署和管理非常简单多语言编程：支持多种语言来编写storm应用程序

2015-08-17 19:36:05 84

Packt Apache Spark Deep Learning Cookbook

2018年7月 Packt出版社最新的spark书籍, 本书主要涉及spark在深度学习方面的应用, 包括sparkML, XGBoost, 股票预测(LSTM), 推荐引擎等

2018-07-25

ZooKeeper-分布式过程协同技术详解

ZooKeeper-分布式过程协同技术详解高清原版, 可复制内容, 适合在iPad上看

2017-12-25

好不容易弄来的，希望大家珍惜，赶快下载。飞雪桌面日历V5.0集合超多功能:日历、月历、世界时钟、倒计时时钟、定时关机、休息提醒、备忘录、节日生日定制、系统热键、光驱控制、网络校时、壁纸切换、语音报时、网络收音机、天气预报等。内含公元1580-5000年的阴阳历，可查寻含阳历、阴历、天干地支（含2种算法）、二十四节气、九九三伏、月相变化等。Vista/Win7下可嵌入桌面、开启UAC保护仍能正常运行

2011-01-03

传智播客android.ppt

传智播客之android视频教程的培训PPT资料，很难得！ 3G应用开发之Android

2010-11-03

嵌入式Linux内核移植详解

北京顶嵌开源科技有限公司内部培训的资料哦很经典很详细

2010-05-30

C语言—_指针(超级详细).ppt

这是我见到的讲指针最好的教程每一个程序的步骤都有动画演示，欢迎大家学习

2010-05-30

51单片机C语言超级经典

广州周立功单片机发展有限公司(内部资料) 这是一本关于Intel 80C51 以及广大的51 系列单片机的书这本书介绍给读者一些新的技术使你的8051 工程和开发过程变得简单.

2009-08-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人