2018年02月_jjshouji

12月 11月 07月 06月 05月 03月 02月 01月

原创 Spark Streaming小程序试验-《单词统计》

1. 试验目标 a . 熟悉spark Streaming操作流程（编程-》打包-》程序提交运行-》job运行监控） b. 熟悉spark Streaming 运行，和使用场景有初步了解 c .熟悉Spark Streaming基本编程，对spark函数有初步使用，flatMap,map,reduceByKey..2.前提 a . 软件安装： nc（模拟数据实时输入工具），s...

2018-02-09 15:27:14 564

原创 linux sbt-1.1.0 安装

1.软件下载官网下载：https://www.scala-sbt.org/download.html 下载 sbt-1.1.0.tgz 包(目前最新)。2.安装安装在/usr/local/sbt目录下 [root@master ~]# mv sbt-1.1.0.tgz /usr/local/[root@master ~]#tar zxvf sbt-1.1.0.tgz [root@...

2018-02-09 00:28:04 2710 2

原创利用ali OTTER 实时同步业务数据到数据仓库

1.背景公司要求是某些业务报表达到实时标准，数据量最多的表大概400W+,报表逻辑复杂，计算一年24W数据，整个程个流程下来差不多一个小时，主要时间耗在全量数据同步跟计算上。年后大概实时需求会更多，数据量会更大，各分部数据到会到数据仓库。用脚本增量同步有限制，主要因为业务数据每天定时批量更新，周期是分钟，每次更新至少10W以上，脚本从下载数据到导入数据之后计算，流程复杂，时间太长。所以首...

2018-02-05 00:24:59 5325

Mapreduce 在windows运行文件

包中含有hadoop-eclipse-plugin-2.6.0.jar ，hadoop.dll，winutils.exe 三个文件，是windows 运行mapreduce 的配置文件。hadoop2.8.1亲测可用

2018-12-21

中文版JDK 1.6 ，1.8 api文档合集

JDK 1.6 中文API CHM版，1.8 中文API CHM版。

2018-12-04

sqlserver 各种驱动下载网址，kettel 7.1 sqlserver 2008 native 驱动下载（sqljdbc4-2.0.jar），解决Driver class 'com.microsoft.sqlserver.jdbc.SQLServerDriver' could not be found, make sure the 'MS SQL Server (Native)' driver (jar file) is installed. com.microsoft.sqlserver.jdbc.SQLServerDriver问下，下载驱动，放入lib文件夹即可

2018-10-18

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

let it go的博客

原创 Spark Streaming小程序试验-《单词统计》

原创 linux sbt-1.1.0 安装

原创利用ali OTTER 实时同步业务数据到数据仓库

Mapreduce 在windows运行文件

中文版JDK 1.6 ，1.8 api文档合集

sqlserver 20018 驱动

ms sql 驱动包（sqljdbc.jar 和jtds.jar）

logstash-5.6.3.tar.gz

ELK 5.6.3 软件包集合（elasticsearch，kibana，filebeat）

《hadoop实战》第二版中文

pdksh-5.2.14

空空如也

原创 Spark Streaming小程序试验-《单词统计》

原创 linux sbt-1.1.0 安装

原创 利用ali OTTER 实时同步业务数据到数据仓库

Mapreduce 在windows运行文件

中文版JDK 1.6 ，1.8 api文档合集

sqlserver 20018 驱动

ms sql 驱动包（sqljdbc.jar 和jtds.jar）

logstash-5.6.3.tar.gz

ELK 5.6.3 软件包集合（elasticsearch，kibana，filebeat）

《hadoop实战》第二版中文

pdksh-5.2.14

空空如也

原创利用ali OTTER 实时同步业务数据到数据仓库