自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(4)
  • 资源 (5)
  • 收藏
  • 关注

原创 hive任务,一些map长时间无法结束

多线程同步写ES切分文件在这篇文章中使用代码切割文件,这里尝试使用split命令切分文件。split -l 250000 all_rate.csv 25万行为分界线分割文件import org.elasticsearch.action.bulk.BulkRequestBuilder;import org.elasticsearch.client.transport.Tra...

2018-08-20 23:51:17 5065

原创 Elasticsearch数据全量导入HBase,scroll的正确使用姿势,HBase数据到Hive

1、代码相关文章: elasticsearch数据到hive、es-hadoop6.3.0 Hbase Java API简单实践(附源代码解释) 按照惯例,先上代码 (代码还有很多可以优化的地方,待正式工作了,有了更海量的需要处理的数据,更复杂的应用场景,我再回来更新此文。)只贴出Es用scroll方式读取数据以及批量写入HBase的核心代码,其他工具类、方法,比如es、HBase...

2018-08-16 22:31:57 2828 1

原创 ElasticSearch多线程写入实战(一)多线程同步异步写入ES,模拟hadoop文件拆分处理,join与CountDownLatch的区别,多线程读写小练习

数据预处理1、网站爬取数据,写为csv 2、添加表头 sed -i ‘1i\时报错: sed: -i may not be used with stdin mac中应该写为:【mac自带的sed命令,是基于bsd的,所以与Linux-like下常用的gnu不一样】sed -i "" '1i\insert value here'

2018-08-09 00:47:30 7661

原创 elasticsearch数据到hive、es-hadoop6.3.0

同一模块中日志输出到不同文件elasticsearch数据到hive思路1思路2安装ES-hadoop添加jar包到hivees数据导入到hive的最基础设置es数据导入到hive进阶之mapping设置es数据导入到hive进阶之array相关文章参考同一模块中日志输出到不同文件需求:项目的同一个子模块下,已经配置过日志输出,现在...

2018-08-06 00:17:44 6820 2

Stream Processing with Apache Flink完整书签高清pdf和epub版,以及评价超高的Streaming Systems

保证完整,目前网上找个完整的不容易(2019-06-13); Stream Processing with Apache Flink(Flink布道者)完整书签高清pdf以及epub; 以及评价超高的Streaming Systems(谷歌大脑Tyler Akidau) ; 以及18年10月Flink技术沙

2019-06-13

Flink Forward 201809 PPT berlin

2018年09月03日至05日在 Berlin 进行的 flink forward 会议上的PPT。这里共44个演讲的PPT,1000页左右PPT。资料来源于互联网,下载于“过往记忆”。

2018-10-03

TensorFlow实战PDF+代码,TensorFlow实战Google深度学习框架+代码

《TensorFlow实战》希望用简单易懂的语言带领大家探索TensorFlow(基于1.0版本API)。在《TensorFlow实战》中我们讲述了TensorFlow的基础原理,TF和其他框架的异同。并用具体的代码完整地实现了各种类型的深度神经网络:AutoEncoder、MLP、CNN(AlexNet,VGGNet,Inception Net,ResNet)、Word2Vec、RNN(LSTM,Bi-RNN)、Deep Reinforcement Learning(Policy Network、Value Network)。此外,《TensorFlow实战》还讲解了TensorBoard、多GPU并行、分布式并行、TF.Learn和其他TF.Contrib组件。《TensorFlow实战》希望能帮读者快速入门TensorFlow和深度学习,在工业界或者研究中快速地将想法落地为可实践的模型。 购买地址:https://item.jd.com/12125568.html 《TensorFlow:实战Google深度学习框架》为使用TensorFlow深度学习框架的入门参考书,旨在帮助读者以更快、更有效的方式上手TensorFlow和深度学习。书中省略了深度学习繁琐的数学模型推导,从实际应用问题出发,通过具体的TensorFlow样例程序介绍如何使用深度学习解决这些问题。《TensorFlow:实战Google深度学习框架》包含了深度学习的入门知识和大量实践经验,是走进这个更新、更火的人工智能领域的推荐参考书。 购买地址:https://item.jd.com/12125572.html

2017-09-19

最新MySQL驱动(5.7可用)mysql-connector-java-5.1.40.zip

官网最新的MySQL驱动包,Java-jdbc. 版本5.1.40 亲测MySQL5.7.17可用

2017-02-12

李兴华oracle学习笔记(全)PDF

个人感觉李兴华老师的讲课风格和马士兵老师的风格很像,这个笔记是课堂上李兴华老师敲的,非常的详细。很适合平常查询以及复习用。不想花积分的朋友可以留言,我可以私发。

2017-02-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除