- 博客(94)
- 资源 (12)
- 收藏
- 关注
RSS订阅转载 【转载】基于flink的分布式同步工具
文章目录FlinkX概览FlinkX的设计思路一.插件式架构二. Flink任务的自动组装FlinkX的优势一.便于使用二.性能优越三.多运行模式四.插件式开发五.错误控制六.任务资源限制欢迎试用FlinkXFlinkX概览一.FlinkX是一个基于Flink的异构数据源离线同步工具，用于在多种数据源（MySQL、Oracle、SqlServer、Ftp、Hdfs,HBase、Hive、Ela...
2019-02-15 16:12:06
506
原创 【Flink】官方文档翻译:DataStream API Tutorial
原文链接： https://ci.apache.org/projects/flink/flink-docs-release-1.7/tutorials/datastream_api.html#top文章目录Setting up a Maven ProjectWriting a Flink ProgramBonus Exercise: Running on a Cluster and Writ...
2019-01-25 01:10:59
283
原创 【网络】基于TC和netem实现网络异常情况的模拟
基于TC和netem实现网络异常情况的模拟背景笔者最近在对一个公网传输方案做测试时，需要模拟一些公网中遇到的极端情况（延迟、丢包、重复、损坏和乱序等）。惊喜地发现，Linux原生已经集成了TC和netem这对组合，只需要几个命令即可快速地实现上述功能。TC简介Linux内核内置了一个TC（Traffic Control）框架，可以实现流量限速，流量整形，策略应用(丢弃，NAT等)。原理大致...
2018-12-04 10:42:52
2360
原创 使用JCommander开发命令行交互(CLI)式JAVA程序
一、前言最近在看pulsar源码时，发现他们使用了JCommander来开发命令行交互程序，便对这个framework产生了兴趣。 传统意义上讲，JAVA并不是开发命令行程序最合适的语言，但是因为依赖一些特定JAVA库（特别是大数据相关的）的CLI程序，用java来开发却是最方便的。pulsar相关源码：https://github.com/apache/pulsar/blob/branch...
2018-11-26 20:40:21
3973
原创 《编写高质量代码之JAVA》阅读摘要-基础篇
前言: 温故而知新。 之前阅读过Python版本的《编写高质量代码》，收获颇丰。在此，我分享下我的部分阅读笔记，供大家参考。通用方法与准则1.自增陷阱count = count++;i++:先赋值后加1++i:先加1后赋值c++里面，如上写法是ok的，但是java里面这是一个表达式，返回值是count 自加前的值，所以上述写法有误。2.静...
2018-09-02 23:47:05
282
原创 【Flume】1.8.0 开发指引
介绍概述Apache Flume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统. Apache Flume是Apache基金会的顶级项目.现在有两个代码版本线可以获取:0.9.x和1.x.本文档对应的是1.x版本.数据流模型Event是流经flume agent的最小数据单元.一个Event(由Event接口实现)从so...
2018-08-26 18:37:15
405
原创 快速熟悉Java(闲聊版)
一、简要背景：java可能是很多同学大学学习的第一门或者第二门语言，大部分人可能并不需要这样一篇熟悉性语法相关的文章。 但是有一部分同学可能和我经历相似，大学课程并没有java，工作后一直从事其他语言相关的工作（如python等）。知道java是什么，也知道java的一些简单的细节(如jdk、jvm)、比较深入地了解其他语言的情况(语法、数据结构、面向对象、单元测试等)，但是并没有直...
2018-08-19 17:17:06
655
原创 pycharm的python_stubs
最近在写udp socket程序时，对几个函数(如sendto)command+左击时，发现跳转到了这个python文件里面去了。(默认应该是到函数源码那里)/PyCharm2018.1/python_stubs/160944109/_socket.py定义了如下的伪函数 def send(self, data, flags=None): # real signature...
2018-08-08 00:40:32
7980
5
原创 【网络】UDP的若干问题
内部分型精简版 参考链接：https://blog.csdn.net/dog250/article/details/6896949UDP SOCKET-SERVER# encoding: utf-8"""@version: 1.0@author: pierrexiong@file: udp_server@time: 2018/8/2 下午7:56"""from so..
2018-08-05 17:05:27
741
原创 flask源码阅读笔记(4)-路由实现分析
一、url路由实现1.基础路由from flask import Flaskapp = Flask(__name__)@app.route("/")def hello(): return "Hello World!"分析装饰器源码： def route(self, rule, **options): def decorator(f...
2018-07-19 00:42:57
251
原创 flask源码阅读笔记(2)-session相关
一、session的使用与常识1.参考flask官方demo实现如下一段代码# encoding: utf-8"""@version: 1.0@author: pierrexiong@file: my_session@time: 2018/7/17 上午12:00"""from f
2018-07-17 01:49:19
312
原创 pycharm配置与使用技巧
pycharm也许是目前最好的python开发ide，自己几乎每一台电脑都有安装，这里列一下自己的配置和使用技巧，方便自己还有他人。一、pycharm下载与安装地址：http://www.jetbrains.com/pycharm/社区版够用，专业版学生账户可以免费用（只要edu邮箱即可以体验使用）二、配置1.主题和字体写代码的地方，不美观怎么行？File-->Setting-->Ed...
2018-07-15 23:01:18
3093
原创 flask源码阅读笔记(1)-基本逻辑
一、前言之前陆陆续续看过一点flask源码但不是很系统。最近计划把之前的笔记串起来，算是作为自己的积累。 为什么选择flask？答案比较简单： - 代码量不是很大，核心部分也就万行左右 - 代码相对规范 - 注释很详细flask 源码：https://github.com/pallets/flaskflask 文档：http://flask.pocoo.org/falsk开...
2018-07-15 21:20:35
1242
原创 stderr基础
一、从一个c的例子讲起：void main(){ fprintf(stdout,"stdout!"); fprintf(stderr,"stderr!"); printf("printf!");}编译成可执行文件test.out，分别执行，请请观察运行结果./test.out./test.out > tmp.txt./test.out 2&g...
2018-06-18 17:35:26
5022
原创 beanstalkc Tutorial 中文版
英文原版：https://github.com/earl/beanstalkc/blob/wip-doc-rtfd/doc/tutorial.rst背景介绍：Beanstalk，一个高性能、轻量级的分布式内存队列系统。而beanstalkc是Beanstalk的一个python客户端库。开始：启动服务端beanstalkd进程来监听14711端口，可以使用下列命令：beanstalkd -l 12...
2018-06-13 19:19:39
2457
原创 理解IO（一）：基础指标
IO在计算机中指Input/Output，也就是输入和输出。一个优秀的程序员如果缺乏足够的IO基础知识，那他写出的程序必然是低效且丑陋的（好像说的是年轻的自己，(⊙﹏⊙)b）。这里我列举下从第三方获取到的一些关于IO耗时的基础指标：L1 cache reference 读取CPU的一级缓存：1nsL2 cache reference 读取CPU的二级缓存：4nsMutex lock/un...
2018-06-03 17:32:32
889
原创 也谈谈docker
前言docker在几年前（14\15\16左右），算是当时最火热的技术。docker其实本身并没有太多的技术创新，所有的核心技术几乎都是前人使用过的，但是docker的理念却是革命性的。docker的架构docker架构也是比较清晰的（这里不讨论k8s那类编排工具）docker镜像：可以理解为虚拟机的母盘docker容器：独立运行的一个应用docker客户端：使用dock...
2018-06-03 17:15:54
328
原创 python 常用一行式（持续更新ing）
一行式就是通过一行python代码解决一些复杂的问题 简易Web Server# Python 2 python -m SimpleHTTPServer # Python 3 python -m http.server漂亮的打印from pprint import pprintmy_dict = {'name': 'Yasoob', 'age': 'undefine...
2018-04-22 18:04:24
830
原创 大数据采集方案：mysql-binlog 注意点
概要在大数据时代，数据研发人员总是想把各类数据采集到我们的数据仓库。最典型的方案是日志收集方案： flume采集文件，转发到kafka，再使用storm写到hdfs。但是实际场景中，我们的数据源不止文件，还有mysql这类db数据。众所周知，mysql是可以开启binlog的，也就是说我们对db的每个操作都可以通过binlog解析得到。所以我们实时解析mysql的binlog文件，即可实时...
2018-04-22 16:51:49
3770
4
原创 苹果开源数据库产品-foundationdb简介（一）
FoundationDB 是“一个能在多集群服务器上存放大规模结构化数据的分布式数据库”。该数据库系统专注于高性能、高可扩展性和不错的容错能力。2015 年苹果公司收购了数据提供商 FoundationDB，目的是为了提升旗下 App Store、iTunes Connect、 iTunes 服务在云端的服务器技术。FoundationDB 随之从开源变为闭源。北京时间 4 月 20 日凌晨，...
2018-04-22 16:16:52
3048
原创 基于vagrant搭建跨平台的开发环境
基于vagrant搭建跨平台的开发环境一、为什么我们需要vagrantVagrant是一个基于Ruby的工具，用于创建和部署虚拟化开发环境。它 主要使用Oracle的开源VirtualBox虚拟化系统（目前也支持vmware），使用 Chef创建自动化虚拟环境。基于Vagrant我们可以快速的搭建跨平台的开发环境，在windows、mac和linux下拥有相同的开发环境。不用担心这...
2018-03-28 21:54:27
258
转载 awesome-python-cn
Python 资源大全中文版我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列的资源整理。awesome-python 是 vinta 发起维护的 Python 资源列表，内容包括：Web 框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。由伯乐在线持续更新。Awesome 系列虽然挺全，...
2018-03-08 14:26:53
4705
1
原创 python高性能框架-japronto浅测
前言：很久之前就听说python有个web框架可以媲美go、nodejs等高性能语言，周末有空特地看了下。--------背景了解：japronto是一个全新的，为微服务量身打造的python微框架，关于它的详细介绍可以看转载的这篇文章《用 Python 实现每秒处理 120 万次 HTTP 请求》http://blog.csdn.net/u013128262/articl
2017-08-19 20:45:11
14009
转载 用 Python 实现每秒处理 120 万次 HTTP 请求
用 Python 做到每秒处理上百万次 HTTP 请求，可能吗？也许不能，但直到最近，这已成为现实。很多公司都在为了提升程序的执行性能和降低服务器的运营成本，而放弃 Python 去选择其它编程语言，其实这样做并不是必须，因为 Python 完全可以胜任这些任务。Python 社区最近做了大量关于性能的优化。CPython 3.6 重写了新的字典从而全面提升解析器的执行性能。由于引
2017-08-19 20:04:45
3240
原创 聊聊进程-1-进程间通信ipc技术
简介最近想梳理下进程相关的知识点，第一篇先谈下进程间通信的知识吧。为什么要进程间通信数据传输，如A进程需要传一些参数到B进程事件通知，如A进程告知B进程，你需要停止运行进程间的分工协作，如A进程告诉B进程，你可以做xx了数据的共享，如AB进程同时对一块数据处理进程间通信的方式管道消息队列信号锁与信号灯共享内存套接字进程间通信的各种方法，叫法、分类可能不同，但是实际上大致也就是
2017-08-07 00:54:26
444
原创 提高注释代码效率的一个技巧
搜狗输入法高级=》自定义短语zs,1=#commented by pierre $year-$month_mm-$day_dd $fullhour这样每次输入zs时就会方便的打上这些重复的内容
2017-06-11 16:09:48
801
原创 纯js实现复制到剪贴板
自己在维护的一个站点很坑爹，复制到剪切板功能只能在老版本的火狐上使用。这里我简单记录下自己改造的过程。使用的组件 Github： https://github.com/zenorocha/clipboard.js 使用的组件引入js文件<script src="dist/clipboard.min.js"></script>前端css样式<button class="js-copy" >复制到
2017-05-22 22:45:07
535
原创 ci框架对数据库的操作小结
首先安利下ci官方文档http://codeigniter.org.cn/user_guide/常规的一些操作读数据$this->load->database();$query = $this->db->query('SELECT * FROM news');//以对象形式foreach ($query->result() as $row){ echo $row->id; e
2017-05-09 00:39:39
442
原创 初探airflow
airflow是Airbnb开源的data pipeline调度和监控工作流的平台，用于用来创建、监控和调整data pipeline（ETL）。类似的产品有：Linkedin Azkabangithub：https://github.com/apache/incubator-airflowdoc：http://pythonhosted.org/airflow/【简述】Ai
2017-04-28 20:30:44
12365
2
原创 mesos编译遇到的一些坑
前言mesos主要由cpp、java编写，编译起来坑比较多。笔者记录下，自己源码编译遇到的一些问题。填坑 libcurl is required for mesos to build.安装 libcurl-devellibapr-1 is required for mesos to build安装apr-devel-1.3.9-3.el6.x86_64libsubversion-1 is req
2017-04-04 16:58:35
3687
原创 《改善Python程序的91个建议》读书笔记（部分）
前言有幸拜读了《改善Python程序的91个建议》，学到很多python代码的小技巧。书写的很全，分的很细，很多知识如果想深入了解的，是仍然要通过其他渠道来学习的。 电子版书籍下载：http://download.csdn.net/detail/u013128262/9631704笔记以下是从我的角度，记录下的部分笔记理解 Pythonic 概念美胜丑，显胜隐，简胜杂，杂胜乱，平胜陡，疏胜密。
2017-04-04 16:24:20
679
转载 php面试干货
以前博文叫“php面试中常见到的算法”，后发现每次要面试时，老是要在网上找资料，还不如自己整理下自认为重要的干货放在里面。本想叫面试宝典的，但是市面上相同的太多了，还是叫做干货得了。 1、进程和线程进程和线程都是由操作系统所体会的程序运行的基本单元，系统利用该基本单元实现系统对应用的并发性。进程和线程的区别在于： 简而言之,一
2017-03-19 22:43:27
2045
原创 $_SERVER相关参数小结
$_SERVER[‘PHP_SELF’] #当前正在执行 脚本的文件名，与 document root相关。$_SERVER[‘argv’] #传递给该 脚本的参数。$_SERVER[‘argc’] #包含传递给程序的 命令行参数的个数（如果运行在命令行模式）。$_SERVER[‘GATEWAY_INTERFACE’] #服务器使用的 CGI 规范的版本。例如，“CGI/1.1”。$_SERVER[
2017-03-19 22:18:14
270
原创 CodeIgniter代码片段-发邮件
CI框架是个优秀的PHP框架，本博客将不断更新CI框架的一些代码段，供自己后续回顾~public function email(){ $this->load->library('email'); $config['protocol'] = 'smtp'; $config['smtp_host'] = ''; //如smtp.sohu.com
2016-11-15 22:56:13
496
原创 《提高单机短连接QPS到20万》读后分享
上上周末拜读了曹伟-鸣嵩的头条文章《提高单机短连接QPS到20万》，结合自己的思考，写点小感悟。作者介绍首先说下曹伟-鸣嵩是谁：曹伟，阿里巴巴-阿里云资深技术专家（P9？），擅长C++、网络编程、中间件、底层协议等领域。 原文链接：http://weibo.com/ttarticle/p/show?id=2309404037884855362229#_rnd1478422720948原文简介文章不
2016-11-15 00:41:14
4784
2
原创 一道关于编程思想的经典题
问题：一个前后台（LINUX +WIN32）共用的函数，函数实现的功能为拼装一个SQL，如果我们想把它改为安全函数，如何改呢？void MakeSQLSTRING(int a,int b,char *sqlstring)int len =sprintf(sqlstring,“UPDATE tablea SET A=%d ”,a);if(b==0) sprintf(sqlstring+le
2016-10-03 19:58:57
687
Flink状态编程-订单超时告警.pdf
2020-03-04
flume开发者指引-中文
2018-08-26
shell十三问简体版.pdf
2015-12-02
《跟阿铭学Linux》课后练习题答案
2015-12-02
JavaEE笔记.chm
2015-12-02
Android6-0新特性.chm
2015-12-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人