- 博客(537)
- 收藏
- 关注
RSS订阅转载 SparkStreaming+Kafka整合
SparkStreaming+Kafka整合1.需求使用SparkStreaming，并且结合Kafka，获取实时道路交通拥堵情况信息。2.目的对监控点平均车速进行监控，可以实时获取交通拥堵情况信息。相关部门可以对交通拥堵情况采取措施。e.g.1.通过广播方式，让司机改道。 2.通过实时交通拥堵情况数据，反映在一些APP上面，形成实时交通拥堵...
2019-01-25 12:16:00
480
转载 Hive+Sqoop+Mysql整合
Hive+Sqoop+Mysql整合在本文中，LZ随意想到了一个场景：车，道路，监控，摄像头即当一辆车在道路上面行驶的时候，道路上面的监控点里面的摄像头就会对车进行数据采集。我们对采集的数据进行分析，处理，最后把结果保存到mysql数据库中供Web UI显示监控点/摄像头状态。A:监控点/摄像头状态工作流程如下：1.数据格式/**...
2019-01-16 17:48:00
3295
转载 crontab - 定时任务
crontab - 定时任务我的操作系统版本是CentOS-61.查看是否安装--定时执行任务crontab [-u user] file crontab [-u user] [ -e | -l | -r ]--说明没有安装crontab -e-bash: crontab: command not found2.安装（如果没有安装）...
2019-01-06 17:59:00
314
转载 Hive与Hbase整合
Hive与Hbase整合1.文档 Hive HBase Integration2.拷贝jar文件2.1.把Hbase的lib目录下面的jar文件全部拷贝到Hive的lib目录下面cd /home/hbase/libcp ./* /home/hive/lib2.2.把Hive的lib目录下面的hive-hbase-handler-0.13....
2019-01-06 15:17:00
207
转载 关系数据库数据与hadoop数据进行转换的工具 - Sqoop
Sqoop本文所使用的Sqoop版本为1.4.61.官网 http://sqoop.apache.org2.作用 A:可以把hadoop数据导入到关系数据库里面(e.g. Hive -> Mysql) B:可以把关系数据库数据导入到hadoop里面(e.g. Mysql -> Hive)3.下载 http://archive.apach...
2019-01-05 18:00:00
279
转载 Flume+Kafka+Storm+Hbase+HDSF+Poi整合
Flume+Kafka+Storm+Hbase+HDSF+Poi整合需求：针对一个网站，我们需要根据用户的行为记录日志信息，分析对我们有用的数据。举例：这个网站www.hongten.com（当然这是一个我虚拟的电商网站），用户在这个网站里面可以有很多行为，比如注册，登录，查看，点击，双击，购买东西，加入购物车，添加记录，修改记录，删除记录，评论，登出等一系列我们熟悉的操作。...
2018-12-21 16:50:00
175
转载 Flume+Kafka+Storm整合
Flume+Kafka+Storm整合1. 需求：有一个客户端Client可以产生日志信息，我们需要通过Flume获取日志信息，再把该日志信息放入到Kafka的一个Topic：flume-to-kafka再由Storm读取该topic：flume-to-kafka，进行日志分析处理（这里我们做的逻辑处理为filter，即过滤日志信息），处理完日志信息后，再由Storm把处理好...
2018-12-18 17:09:00
271
转载 hadoop2-elasticsearch的安装
本文主要讲elasticsearch-2.2.1的安装过程。准备工作：1.搭建虚拟机你需要先参考hadoop2集群环境搭建把你的虚拟机搭建起来-hadoop环境可以先不用搭建（完成步骤1到步骤8）2.下载elasticsearch包下载elasticsearch-2.2.1.tar.zip这里我搭建的是4台虚拟机(node1,node2,node3,...
2018-11-21 18:09:00
97
转载 hadoop2-MapReduce详解
本文是对Hadoop2.2.0版本的MapReduce进行详细讲解。请大家要注意版本，因为Hadoop的不同版本，源码可能是不同的。以下是本文的大纲：1.获取源码2.WordCount案例分析3.客户端源码分析4.小结5.Mapper详解 5.1.map输入 5.2.map输出 5.3.map小结6.Reduce详解7.总结若有不正之处，还请多多谅解，并希望批评...
2018-11-21 12:37:00
193
转载 hadoop2-HBase的Java API操作
Hbase提供了丰富的Java API，以及线程池操作，下面我用线程池来展示一下使用Java API操作Hbase。项目结构如下：我使用的Hbase的版本是hbase-0.98.9-hadoop2-bin.tar.gz大家下载后，可以拿到里面的lib目录下面的jar文件，即上所示的hbase-lib资源。接口类：/hbase-util/src/com/b...
2018-11-08 13:59:00
112
转载 hadoop2-HBase的安装和测试
在安装和测试HBase之前，我们有必要先了解一下HBase是什么我们可以通过下面的资料对其有一定的了解：HBase 官方文档中文版HBase 深入浅出我想把我知道的分享给大家，方便大家交流。以下是本文的大纲：1.Hadoop集群环境搭建2.Hbase的介绍3.单机模式解压和安装HBase 3.1.创建t_student表 3.2.查看表t_...
2018-11-02 16:53:00
174
转载 hadoop2-hive
hadoop2-hive1.What,Why,How?1.Hive是数据仓库，在MySQL或其他关系型数据库中存放元数据信息，而把真正的Data存放在HDFS上面。2.主要使用Hive来对历史数据进行分析。3.方便非Java开发者(或者没有编程基础的人员)，但是会SQL，他们使用SQL对数据进行分析4.Hive会将SQL转化为MapReduce进行工作。读取在My...
2018-10-31 17:19:00
549
转载 hadoop2集群环境搭建
在查询了很多资料以后，发现国内外没有一篇关于hadoop2集群环境搭建的详细步骤的文章。所以，我想把我知道的分享给大家，方便大家交流。以下是本文的大纲：1. 在windows7 下面安装虚拟机2.在虚拟机上面安装linux操作系统3.启动Linux操作系统4.修改hostname 4.1.在node1上面修改hostname 4.2.在node2上面修...
2018-10-28 18:20:00
82
转载 ArrayList, LinkedList, Vector - dudu：史上最详解
ArrayList, LinkedList, Vector - dudu：史上最详解我们来比较一下ArrayList， LinkedLIst和Vector它们之间的区别。BZ的JDK版本是1.7.0_80经常在面试的时候，或者在大家做project的时候，都会被它们的区别产生疑惑。或者对它们的用法并不是很了解。那么我们今天就来看看他们的区别和用法。以下是本文的大纲：一.A...
2018-08-29 15:51:00
299
转载 TypeScript系列 - 什么是TypeScript
看了很多关于TypeScript的文章，总体说来没有很好的，一个系统的学习TypeScript的资源。接下来，我将给大家带来TypeScript的系列，让你和我一样，一步一步的学习TypeScript，并且学以致用。什么是TypeScript呢在TypeScript的官方网站上面有这样的描述：TypeScript is a typed superset of J...
2018-08-02 16:58:00
149
转载 常用软件工具
常用软件工具1.Notepad++文本编辑工具WebSite :https://notepad-plus-plus.org/Download:https://notepad-plus-plus.org/download/v7.5.6.html2.WinSCPWebsite:https://winscp.net/eng/index.phpDownlo...
2018-08-02 14:27:00
186
转载 How to change Eclipse loading image
Eclipse IDE has many customize components, the splash welcome image (purple color loading image) is one of those. I’m very boring to see the purple image loading everyday, a new fresh image will ...
2018-07-31 16:28:00
115
转载 【奥斯卡理财星体系 第五章】丨手把手教你从零开始搭建资产配置
学习理财良久，依然没有头绪？有没有简洁明了，循序渐进的课程，能够让我少走弯路，早日变为理财达人呢？从一个完全的理财小白一路取经的奥斯卡，将手把手教你从零开始建立理财体系！【奥斯卡理财星体系 第五章】你该如何搭建资产配置？终于，我们来到了整个奥斯卡理财星体系中，最核心，最重要的篇章。通过回顾，大家会发现前面四章其实都是在给本章讲资产配置做铺...
2018-06-15 15:18:00
514
转载 【奥斯卡理财星体系 第四章】丨你该如何选择适合的理财工具
学习理财良久，依然没有头绪？有没有简洁明了，循序渐进的课程，能够让我少走弯路，早日变为理财达人呢？从一个完全的理财小白一路取经的奥斯卡，将手把手教你从零开始建立理财体系！ 写在最前在开始第四章正文之前，首先来回顾一下，我们在前三章学习到的一些主要内容:...
2018-06-15 14:18:00
238
转载 【奥斯卡理财星体系 第三章】丨你适合追求什么样的收益率
学习理财良久，依然没有头绪？有没有简洁明了，循序渐进的课程，能够让我少走弯路，早日变为理财达人呢？从一个完全的理财小白一路取经的奥斯卡，将手把手教你从零开始建立理财体系！ 写在最前在开始第三章正文之前，首先来回顾一下，我们在前两章...
2018-06-15 13:59:00
198
转载 【奥斯卡理财星体系 第二章】丨你该如何做好理财规划
学习理财良久，依然没有头绪？有没有简洁明了，循序渐进的课程，能够让我少走弯路，早日变为理财达人呢？从一个完全的理财小白一路取经的奥斯卡，将手把手教你从零开始建立理财体系！ 写在最前在第一章的学习中...
2018-06-15 12:55:00
342
转载 【奥斯卡理财星体系 第一章】丨你该如何找到理财正确的方向
学习理财良久，依然没有头绪？有没有简洁明了，循序渐进的课程，能够让我少走弯路，早日变为理财达人呢？从一个完全的理财小白一路取经的奥斯卡，将手把手教你从零开始建立理财体系！ 写在最前✪了解奥斯卡以及星体系本文是奥斯卡理财...
2018-06-15 12:40:00
157
转载 【奥斯卡理财星体系 序篇】为什么你需要学习这个理财体系？
理财良久，依然没有头绪？有没有简洁明了，循序渐进的课程，能够让我少走弯路，早日变为理财达人呢？从一个完全的理财小白一路取经的奥斯卡，将手把手教你从零开始建立理财体系！ 写在最前✪关于理财，你是否会有以下困惑?※ 起步困难看了不少关...
2018-06-15 12:26:00
154
转载 零基础学基金投资系列-08-基金排行榜
主要内容：基金排行榜中的名词解析1.基金代码所谓基金代码就是一只基金唯一的代号。比方说，我们在说宝盈货币基金的时候，大家搞不清楚你是在说A款还是B款，你只有说213009这个基金代码，大家马上就知道，你是在说宝盈货币A，这样沟通不会有误解。2.基金简称也就是为了便于沟通，我们对基金名称的简化。象宝盈货币A的全称是宝盈货币市场基金A，这么长的名称...
2018-06-10 13:21:00
66
转载 零基础学基金投资系列-07-基金费用
主要内容：认购费申购费赎回费管理费托管费销售服务费基金涉及的费用主要包含认购费、申购费、赎回费、管理费、托管费和销售服务费。其中，认购费、申购费和赎回费是投资者进行相应交易时收取的。管理费、托管费和销售服务费则是从整个基金资产中按日进行计提的，基金公布的净值里已计提了管理费、托管费和销售服务费。每一只基金均会在其招募说明书、基金合同等文件中明...
2018-06-09 22:12:00
108
转载 零基础学基金投资系列-06-按天复利滚存和单利
主要内容：按天复利滚存单利单利与复利对比按天复利滚存既然提到按天复利滚存，那么，接下来，我们就来了解一下，什么是复利滚存，按天复利滚存又有怎样的效果。可能有些人对复利滚存还不太理解，我在这里想解释一下。比方说，你有一笔本金拿去投资，假设投资收益率是固定不变的，经过一段时间后，投资产生了一笔收益，然后，将收益滚入到本金当中，那么相当于，你现在的...
2018-06-09 21:25:00
108
转载 零基础学基金投资系列-05-基金的分类（3）
主要内容：ETF与ETF联接基金LOF基金QDII基金分级基金ETF与ETF联接基金ETF的全称是交易型开放式指数基金，正因为它的名称太长了，不容易被记住，所以我们就用它的英文名称（Exchange Traded Funds）前面的三个首字母做为它的名称：ETF。它是一种特殊的开放式基金，既可以向基金公司申购和赎回，又可以在证券市场上买卖。同...
2018-06-09 17:03:00
83
转载 零基础学基金投资系列-04-基金的分类（2）
主要内容：货币基金保本基金成长型基金，收入型基金和平衡型基金公募基金和私募基金货币基金其实在现实生活当中，很多人经常都会接触到货币基金。比方说，大名鼎鼎的余额宝，它的本质就是一只货币基金。余额宝背后所代表的货币基金叫天弘增利宝货币基金，是天弘基金公司发行的一款货币基金产品。如果天弘增利宝货币基金相当于巧克力的话，那么余额宝就相当于巧克力礼...
2018-06-09 16:00:00
125
转载 零基础学基金投资系列-03-基金的分类（1）
主要内容：开放式基金和封闭式基金股票型基金、债券型基金和混合型基金指数型基金开放式基金和封闭式基金基金公司向众多的基金投资人募集了5亿元，形成了一款基金产品，而基金在刚刚发行的时候一般都是1块钱一份，所以说，5亿元对应的就是5亿份基金份额，也就是说，花500元就能买500份基金份额，花5万元就能买5万份基金份额。好了，当基金产品成立以后，这时候，就要...
2018-06-09 15:04:00
86
转载 零基础学基金投资系列-02-基金的特点
主要内容：基金的特点与优势基金的专有名词基金的特点与优势基金与其他投资工具相比，有四大特点，也可以说是四大优势。1.集合资金，小钱大用。基金本质上就是集合大多数散户的钱，形成大规模的资金，产生规模效应，从而让散户也能花小钱办大事，参与那些对资金要求高的投资项目。同时，由于是大规模的交易，也能节省一定的投资手续费，我们知道，批发肯定要比零售要便宜，对吧...
2018-06-09 13:47:00
95
转载 零基础学基金投资系列-01-初识基金
主要内容：什么是基金？股票，债券和基金之间的关系1.什么是基金？广义的基金基金是指为某种目的二设立的具有一定数量的资金。也就是说基金是一大笔的钱，然后，这笔钱是为了某个目的而设立的。举例说明：社保基金：就是为了给劳动人民最基本的保障而设立的资金。公益基金：是为了救济平困的人，或是帮助一些需要帮助的人而设立的资金。住房公积金：是为了解决...
2018-06-09 12:39:00
89
转载 java 反射（Reflection）-干货
看了很多关于java 反射的文章，自己把所看到的总结一下。对自己，对他人或多或少有帮助吧。Java Reflection是什么？首先来看看官方文档Oracle里面对Reflection的描述：Reflection is commonly used by programs which require the ability to examine or mod...
2018-04-18 23:03:00
121
转载 Spring 4 MVC example with Maven - [Source Code Download]
In this tutorial, we show you a Spring 4 MVC example, using Maven build tool.Technologies used :Spring4.3.0.RELEASEMaven 3JDK 1.8EclipseMars.2 Release (4.5.2)Boostrap 31. Proj...
2017-11-19 16:18:00
100
转载 How to create a repository in Github with Eclipse?
How to create a repository in Github with Eclipse? Here is an answer.I will teach you how to do it step by step. Before creating your own repository in Github you need have an active account in...
2017-03-05 17:55:00
170
转载 香港旅行-不能一直工作吧[多图]
我们不应该一直都工作，适当的时候还是要给自己一个假期，好好放松自己。分享一下在Hong Kong期间的经历，可能对你有帮助。特别是你需要打算去Hong Kong旅行，我希望能帮到你。我的假期只有四天（from 14-Jul-2016 to 17-Jul-2016），时间上面还是可以的。去的地方都是一些比较出名一点的景点。Day 1早上7:45的飞机，从新加坡飞往香港。...
2016-07-18 16:21:00
121
转载 免费制作gif图片工具
怎样制作gif图片在你的blog里面呢？今天给大家推荐一款免费的gif制作软件：GifCam上面用到的下载地址：http://downloads.tomsguide.com/GifCam,0301-52843.html希望对大家有用。========================================================...
2016-07-12 21:10:00
95
转载 java的poi技术写Excel的Sheet
在这之前写过关于java读，写Excel的blog如下：Excel转Htmljava的poi技术读，写Excel[2003-2007,2010]java的poi技术读取Excel[2003-2007,2010]java的poi技术读取Excel数据到MySQLjava的jxl技术导入Exceljava的poi技术读取和导入Excel然而，这篇blog主要...
2016-07-02 12:25:00
172
转载 Drawing in Singapore
说到画画，其实很多人都会画。只是很多人都把这种潜能给埋起来了，没有特意的去开发出来。且不论画的好与不好，好看与不好看。自己把自己所想的东西方式表达出来，画画是一种方式。我不是科班出身，全凭自己感觉来的。画的不好的地方，请谅解。给大家分享一些去年在新加坡工作的时候空闲的时候画的画。1.大蒜2.iphone 模型3. 工牌套4.WALL-E...
2016-06-26 00:31:00
87
转载 基于java平台的常用资源整理
这里整理了基于java平台的常用资源翻译 from ：akullpp |awesome-java大家一起学习，共同进步。如果大家觉得有用，就mark一下，赞一下，或评论一下，让更多的人知道。thanks.构建这里搜集了用来构建应用程序的工具。Apache Maven：Maven使用声明进行构建并进行依赖管理，偏向于使用约定而不是配置进行构建...
2016-03-24 16:03:00
130
转载 菜鸟成长记
突然才发现，昨天（20-03-2016）刚好是自己入圆5周年。时间一下子回到了之前，刚刚入圆的那一天（20-03-2011）。记得那天注册，是在大学宿舍的晚上，天开始变得模模糊糊的时候。还清楚的记得，那个时候自己还在自学jsp&servlet!菜鸟，对于那个时候的我来说，再没有更好的称呼了。我想谈谈我自己的一些经历，和大家分享一下。如果你觉得好听，或者受用，那么也就达...
2016-03-21 11:13:00
100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人