- 博客(34)
- 资源 (1)
- 收藏
- 关注
原创 flink作业提交源码解析(2) - StreamGraph的生成
flink作业提交源码解析(2) - StreamGraph的生成原文链接版本flink: release-1.14os: ubuntu 16.04IDE: IDEAWordCount源码及执行流程概览上文flink作业提交源码解析(1)中说道fink-client中的方法callMainMethod使用了反射机制,去运行用户代码的入口类。本文就进一步研究用户的代码执行的逻辑。使用自带的WordCount.jar作为例子。运行命令如下:bin/flink run -t remote -d
2022-02-09 17:30:57
1180
原创 clickhouse集群迁移实践
clickhouse集群迁移实践原文链接背景现有的ck集群没有副本,磁盘是12块盘的stat盘,存在磁盘故障导致数据丢失的风险,而依赖zk的双副本策略又由于zk性能存在瓶颈影响集群的可用性,故而使用带三副本的高效云盘替代stat盘,规避数据丢失的风险。当前ck的写入程序使用的是统一的域名,由域名查询到对应的ip节点来建立tcp连接。对于ck的查询,使用的是内部的一个代理,该代理配置了集群的ip,由代理去轮询ip进行查询。在数据迁移的过程中,需要保证集群写入和查询都不受影响,关键在于控制好查询和写入
2022-02-09 16:20:10
2567
原创 flink作业提交源码解析(1)-命令行解析及运行
flink作业提交源码解析(1)-命令行解析及运行原文链接版本flink: release-1.14os: ubuntu 16.04IDE: IDEA从bin/flink 这个提交脚本最后一行exec "${JAVA_RUN}" $JVM_ARGS $FLINK_ENV_JAVA_OPTS "${log_setting[@]}" -classpath "`manglePathList "$CC_CLASSPATH:$INTERNAL_HADOOP_CLASSPATHS"`" org.apac
2022-02-08 09:50:10
1051
原创 flink-demo-根据事件时间触发窗口计算
1.数据:目标:使用的api代码实现1. 生产者2. 消费者测试1.启动2.输入3.输出1.数据:事件的格式为 abc,3,20180503-110301abc:统计的key值3: key值的个数20180503-110301: 事件时间戳目标:使用kafka存储产生的事件,然后用flink进行消费,采用flink的窗口...
2018-05-04 19:36:54
7528
1
原创 ubuntu14.04自建局域网源在线安装CDH5.6.0
背景:要搭建一个可以添加节点的cloudera集群,但内部网络访问不了cloudera,能访问的主机访问速度也特别慢。 实现方式:搭建一个内部的软件源,采用官网第二种方式安装1. 搭建CDH源服务器源服务器地址:192.168.10.136 可以连接外网下载以下包1.1. cloudera-manager相关包(下载地址:https://archive.cloudera.com/cm5/ubun
2016-06-29 17:49:35
2334
原创 ElasticSearch备份快照到HDFS-2.6(CDH5.6.0)
由于业务需要将ES-2.2.1版本升级到ES-2.3.2版本,需要将index迁移过去,查了很多资料,最后决定用es的快照/恢复模块来实现,把快照保存到hdfs-2.6上
2016-05-21 20:46:23
6420
1
原创 Ubuntu14.04离线安装CDH5.6.0
CDH5.6.0官方安装文档:http://www.cloudera.com/documentation/enterprise/5-6-x/topics/installation.html 相关包的下载地址: Cloudera Manager地址:http://archive.cloudera.com/cm5/cm/5/ CDH安装包地址:http://http://archive.cloudera.co
2016-05-19 10:01:15
16718
1
原创 ubuntu14.04下phpMyAdmin安装
安装mysql之后,用phpmyadmin作为客户端管理工具 1. sudo apt-get install phpmyadmin,安装过程中,使用apache2作为服务器,安装过程中要求输入数据库root用户的密码,并设置phpmyadmin的访问密码 2. 安装完后,在浏览器输入localhost,显示如下 3. phpadmin安装完后,并不能直接通过localhost/ph
2016-04-25 09:39:02
1428
原创 ubuntu14.04 安装MariaDB10.0并允许远程访问
MariaDB是一个社区驱动的、采用XtraDb存储引擎的MySQL分支版本,由MySQL创始人Michael Widenius带领开发,遵循GPL v2.0协议开源。因为MySQL创始人的介入,MariaDB备受关注,Drupal、MediaWiki、phpMyAdmin、WordPress等众多应用都宣布支持MariaDB。安装MariaDB的包默认没有在Ubuntu仓库中。首先设置MariaD
2016-04-23 16:31:01
6901
原创 ElasticSearch2.2.1之IK分词器的安装
安装首先到github ik上下载版本为1.8.1的源码,可以直接下载zip文件,也可以通过git下载。解压文件elasticsearch-analyze-ik-1.8.1.zip,在下载目录执行unzip elasticsearch-analyze-ik-1.8.1.zip -d ik进到ik目录下cd ik用maven进行编译打包,需要装好maven,执行mvn package打包完后
2016-04-21 23:04:53
1993
原创 深入elasticsearch源码之索引过程
调用es 2..2.1 的 java Api在ES集群中索引一个文档客户端大致流程:使用XContentBuilder构建索引的json串使用TransportClient连接ES集群发送索引到集群并获取IndexResponse测试代码如下:package index;import java.io.IOException;import org.elasticsearch.action.i
2016-04-13 16:09:37
4882
原创 深入elasticsearch源码之环境搭建
为了研究elasticsearch的源码,可以从github下载源码,到本地编译,但这种方法比较麻烦。 我是采用eclipse构建maven项目,在pom文件中引用elasticsearch的jar包的方式来搭建源码阅读的环境。搭建因为我搭建的es集群是2.2.1版本(关于如何搭建集群,可以参考ElasticSearch 分布式安装及调优 ,所以选用的elasticsearch也是2.2.1版本,
2016-04-13 14:00:26
6896
3
原创 python 安装numpy,scipy,matplotlib算法库
官方库下载: https://pypi.python.org/pypi1.安装Numpy,可以用sudo apt-get install python-numpy也可以到http://sourceforge.net/projects/numpy/files/下载最新版本的Numpy如果是自己下载的文件进行安装,首先要确保本地有GCC,这个一般都有,然后需要先安装几个支撑库:sudo apt-get
2016-04-09 11:49:39
1352
原创 ElasticSearch 分布式安装及调优
三台ubuntuServer 的 ip: 192.168.0.4,192.168.0.5,192.168.0.6从官网下载elasticsearch 版本2.2.1解压到/opt/目录下sudo tar -zxvf elasticsearch-2.2.1.tar.gz -C /opt对ip为192.168.0.4的主机进入/opt/elasticsearch-2.2.1/config/并修改
2016-04-09 09:36:00
2724
原创 Socket编程及mina框架简单示例
要实现客户端与服务器的长连接,可以使用socket的方式连接服务器与客户端。在这篇文章中,将用原生的方式实现socket的服务器端和客户端,然后用Mina框架再实现一次。 原生方式上: 客户端可实现如下: SocketClient:package socketClient;import java.io.BufferedReader;import java.io.IOException;im
2016-02-12 19:54:46
9567
3
转载 ubuntu输入正确用户密码重新跳到无法登录
不小心删除了xubuntu,结果桌面进不去了。原因:主目录下的.Xauthority文件拥有者变成了root,从而以用户登陆的时候无法都取.Xauthority文件。说明:Xauthority,是startx脚本记录文件。Xserver启动时,读文件~/.Xauthority,读入对应其display的记录。当一个需要显示的客户程序启动调用XOpenDisplay()也读这个文 件,并把找
2016-01-27 17:43:55
661
转载 仿QQ侧滑菜单
public class SlideMenu extends HorizontalScrollView { private LinearLayout mWapper; private ViewGroup mMenu; private ViewGroup mContent; private int mWindowWidth; //dp private in
2015-04-20 21:23:56
485
转载 实现圆形的ImageView
代码如下/* 圆形的imageView */public class CircleImageView extends ImageView { private Paint paint = new Paint(); public CircleImageView(Context context) { super(context); }
2015-04-20 21:14:06
469
原创 android自定义属性
1、自定义属性时,先在value中建立一个xml,如<?xml version="1.0" encoding="utf-8"?><resources> <declare-styleable name="SlideMenu"> <attr name="rightMargin" format="dimension"></attr> </decla
2015-04-20 21:11:11
393
原创 自定义ProgressDialog,实现超时功能
android自带的progressDialog是没有超时功能的,但在平时使用时,很多时候等待响应的时间是一定的,这时候就需要ProgressDialog能超时停止,否则该控件将一直存在。现整理一个可以实现超时停止功能的ProgressDialog
2015-04-20 20:31:23
1435
原创 上拉刷新列表(自定义列表项布局)的实现
listView是应用非常广泛的一个控件,当我们要用ListView来自定义列表项,并且从服务器下载数据更新到ListView时,我们通常会新开一个线程进行异步下载
2015-04-20 20:06:55
629
原创 Java实现Dijkstra算法
迪杰斯特拉(Dijkstra)算法思想 按路径长度递增次序产生最短路径算法: 把结点V分成两组: (1)S:已求出最短路径的顶点的集合 (2)V-S=T:尚未确定最短路径的顶点集合 将T中顶点按最短路径递增的次序加入到S中. 保证: (1)从源点V0到S中各顶点的最短路径长度都不大于从V0到T中任何顶点的最短路径长度 (2)每个顶点对应一个距离值
2015-03-21 17:22:38
548
1
原创 Activity与Service的启动和绑定
Activity提供了用户操作的视图界面,而Service则能在Activity退出时运行在后台,在实际的android应用开发中,经常会用到Activity和Service,它们是如何绑定的呢。 Service的启动:context.startService(Intent i) Service的绑定:context.bindService(Intent service, ServiceConn
2015-03-21 10:11:36
1291
原创 超键、候选键和主键的区别
超键(super key):在关系中能唯一标识元组的属性集,里面可能包含很多能唯一标识元组的属性候选键(candidate key):不含有多余属性的超键,即它里面的属性一旦去掉任何一个,它就不是超键主键(primary key):用户选作元组标识的一个候选键比如:看下面的一张表学号 姓名 性别 年龄 系别 专业 20020612 李辉 男
2015-03-14 15:22:22
14019
原创 java之图论运用-宽搜
问题描述: 9个硬币排成3*3的二维距阵,正面为T,反面为H,在一次翻转中,若翻转其中一个硬币,则与之上下左右相邻的硬币也要翻转,对于一个给定的硬币排列,试求出使每个硬币均正面朝上的最小翻转次数。示例:init 1 2HHH HHH TTTTTT --> THT --> TTTHHH TTT
2015-02-17 14:46:21
1539
原创 java之图论
我们采用接口-抽象类-实体类的方式实现一个图类。 1 首先是接口类Graph,提供了图的基本操作方法import java.util.List;/* * Interface Graph * /public interface Graph<V> { public int getSize(); //返回这个图的结点个数 public List<V> getVertice
2015-02-16 22:54:13
2421
原创 CSS3学习手册(续)
KeyframesKeyframes被称为关键帧,其类似于Flash中的关键帧。在CSS3中其主要以“@keyframes”开头,后面紧跟着是动画名称加上一对花括号“{…}”,括号中就是一些不同时间段样式规则。在一个“@keyframes”中的样式规则可以由多个百分比构成的,如在“0%”到“100%”之间创建更多个百分比,分别给每个百分比中给需要有动画效果的元素加上不同的样式,从而达到一种
2015-02-11 11:52:08
513
原创 CSS3学习手册
CSS3学习手册什么是CSS3?CSS3是CSS2的升级版本,3只是版本号,它在CSS2.1的基础上增加了很多强大的新功能。 目前主流浏览器chrome、safari、firefox、opera、甚至360都已经支持了CSS3大部分功能了,IE10以后也开始全面支持CSS3了。 在编写CSS3样式时,不同的浏览器可能需要不同的前缀。它表示该CSS属性或规则尚未成为W3C标准的一
2015-02-11 08:42:21
658
原创 多线程Socket编程实现服务器与客户端的连接
利用TCP进行Java网络编程时,服务器端的开发步骤为:1、创建ServerSocket,指定绑定的端口,通过ServerSocket对象的accept()方法来创建socket以实现服务器端与客户端的通信。2、打开相关的输入输出流3、按协议进行读写4、关闭流和相应的socket。(对于同一个socket,如果关闭了输出流,则与该关联的socket也被关闭,而关闭socket时,相
2015-01-31 23:19:32
906
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人