- 博客(12)
- 收藏
- 关注
RSS订阅原创 《Flask Web开发实战》—— 留言板实例
继续学习Flask，把前面几节的内容做个实例——留言板。0.准备创建项目，安装依赖的库 bootstrap-flask flask flask-wtf flask-sqlalchemy flask-moment faker python-dotenv 1. 项目结构 static 静态文件，存放...
2020-01-06 11:31:00
1057
原创 Spark Streaming + Kafka +Hbase项目实战
同学们在学习Spark Steaming的过程中，可能缺乏一个练手的项目，这次通过一个有实际背景的小项目，把学过的Spark Steaming、Hbase、Kafka都串起来。1. 项目介绍1.1 项目流程Spark Streaming读取kafka数据源发来的json格式的数据流，在批次内完成数据的清洗和过滤，再从HBase读取补充数据，拼接成新的json字符串写进下游kafka。...
2018-11-20 10:23:17
1007
原创 月亮与六便士，诗与远方
《月亮与六便士》是英国小说家毛姆的代表作，是一本经典的关于理想与现实的小说。其实我是带着很大期待阅读此书的，本以为会读到一个惊奇的故事，或者文末有一个巨大的反转等着我。但是到最后故事也平淡的结束了。作者笔下的男主角思特里克兰德本是一个体面的证券经纪人，有一个幸福的家庭。为了追求绘画梦想，人到中年抛妻弃子，到巴黎求学。期间自己过的日子贫苦潦倒不说，还做了很多混球事，伤害了很多关心帮助他的朋友...
2018-10-08 22:49:36
362
原创 HBase原理总结
在总结Spark读写HBase的同时，也顺便回顾了一下HBase的原理，同样做个简单的记录。事实上，相关的总结网上超级多，写的已经很到位了。本文一些内容会直接摘取相关参考资料，对原文作者表示感谢。互联网的面试一般问的都比较细，尤其是简历里提到过的一些大数据组件，都会问问底层原理，体系结构，有什么好的设计思想，甚至是源码等。所以在能调用API实现开发功能之后，也需要花一点时间对组件的原理至少是了...
2018-08-27 10:08:50
838
原创 Spark读写HBase实践
Spark经常会读写一些外部数据源，常见的有HDFS、HBase、JDBC、Redis、Kafka等。这些都是Spark的常见操作，做一个简单的Demo总结，方便后续开发查阅。1.1 maven依赖需要引入Hadoop和HBase的相关依赖，版本信息根据实际情况确定。 <properties> <hadoop.version>2.6.0-cdh5.7....
2018-08-23 21:38:11
710
原创 StreamSets使用指南
最近在调研Streamsets，照猫画虎做了几个最简单的Demo鉴于网络上相关资料非常少，做个记录。1. 简介Streamsets是一款大数据实时采集和ETL工具，可以实现不写一行代码完成数据的采集和流转。通过拖拽式的可视化界面，实现数据管道(Pipelines)的设计和定时任务调度。最大的特点有： 可视化界面操作，不写代码完成数据的采集和流转 内置监控，可是实时查看数据流传输的基...
2018-08-20 09:38:00
10859
10
原创 晒晒《皮囊》，继续路上
《皮囊》也是一本有一定IP的畅销书，事实上，我很喜欢这种有点像自传式的小故事集锦。最大限度的贴近作者的生活和思想活动，一个又一个小故事内容有趣，内心独白又可以观察到当事人的思想抉择，可读性很强。刚看到书名的时候，我以为是一本心灵鸡汤，无非就是诗与远方这种吧。但是读下去才知道，这是一本散文集，以作者成长过程中接触的人物为基点，延伸出一串串的小故事，有亲情、友情、爱情、乡愁这些亘古不变的经典主题，...
2018-08-17 15:18:34
291
原创 FastJson使用范例(Java、Scala版)
0. 目录1.FastJson简介2.FastJson三个核心类3.Maven4.Java API反序列化 反序列化一个简单Json字符串 反序列化一个简单JSON字符串成Java对象组 反序列化一个复杂的JSON字符串 序列化 序列化和反序列化日期 JsonObject的一些操作 jsonArray的一些操作5.Scala API反序列化 dem...
2018-08-03 12:19:00
2376
原创 程序员必须学会的《软技能》
程序员往往一心扑在编程技术上面，学习编程语言，算法，网络，自己子领域相关的知识等等。这非常正确，也是作为coder的核心竞争力所在，姑且称之为“硬技能”吧。《软技能》这本书除此之外，强调了一些对于提高自己竞争力，获得更好生活的非技术性的技巧。对于处在职业生涯早期的应届生来说，读一读还是非常有帮助的。需要着重说明的是，我认为这本书对于其他行业的应届生都有用，并不限于程序员。因为这本书更多的是从“...
2018-08-01 20:44:14
1417
2
原创 大宝大话大数据（二）——大数据的学习路径和方法
本文将对自己学习大数据的路径和方法做一个回顾，有意入门大数据开发的同学可以参阅我的学习过程，结合自己的实际情况，做一些优化和调整。以下内容都是我的一家之言，仅供参考。首先说下学习方法的问题。我刚开始学大数据的时候，还没有老师和学长给我理清大数据的整体架构。我还真是盲人摸象，今天学学MapReduce，明天看看Spark。当时上刘军老师《海量数据处理》这门课的时候，老师很好，很认真讲了Had...
2018-07-27 16:06:13
470
2
原创 大宝大话大数据(一) ——大数据的整体框架
学习和使用大数据工具已经一年多了，经历了看书自学，实习实践，理解原理这几个重要阶段的铺垫后，自我感觉算是对大数据开发初步入门了。也想借此机会对所学内容做一个总结和归纳。方便自己查阅的同时，也希望帮助到需要的同学。全部内容会更新在我的github上，手搜https://github.com/tygxy。本系列的写作安排主要围绕自己的知识体系展开，主要涉及三个方面的内容：大数据整体概述和学习方法、...
2018-07-27 16:04:48
1156
2
原创 Qt一些基础知识的小结
主要学习资料是《GUI-QT4》和《QT学习之路》，对其中学习过的知识进行总结。这里我主要记录自己的码代码的学习过程，方便自己以后的查找和学习。 QT中的UI设计主要有两种，码代码的形式和designer画出来的形式。 一、信号槽 1、信号槽的格式 目前我学到的Qt4系列中，只知道一种： con
2014-11-30 14:53:42
276
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人