- 博客(590)
- 资源 (68)
- 收藏
- 关注
翻译 Postgresql的并发(一)
13.1.简介PostgreSQL提供了非常丰富的工具给开发者,以供开发者控制对于数据的并发访问。在内部,数据的一致性由多版本模型控制(多版本并发控制--英文全称:Multiversion Concurrent Control,MVCC)。这就意味着,每一条SQL语句将一份数据的快照(一个数据库版本)视为是一段时间之前的,而不用管底层数据的当前状态。这样可以阻止更新同一行的数据的并发事
2016-02-26 10:31:13 12207
原创 kafka offset判断
在使用Spark streaming读取kafka数据时,为了避免数据丢失,我们会在zookeeper中保存kafka的topic对应的partition的offset信息(每次执行成功后,才更新zk中的offset信息);从而保证执行失败的下一轮,可以从特定的offset开始读。实现方式类似下面文章所示:http://blog.csdn.net/rongyongfeikai2/artic
2016-02-24 08:51:30 15690 1
原创 Heka插件编写
对于heka的消息流向,我们都知道如下:input--->splitter--->decoder--->router--->filter--->output其中output可以配置encoder,encoder决定了输出的消息是什么样子的。heka中内置了一个很好用的encoder,叫做RstEncoder,它展示消息时是按key:value方式展示的。如下就是一个RstEncod
2016-02-17 16:57:41 1745
原创 计算餐补(go语言实现)
最近公司需要每月计算餐补(按工作日,每日15元),然后自己去弄发票。遂写个程序帮助自己计算工作日和这个月的全勤餐补。程序如下(公司的年假比国家的长,所以如果和我不是一家公司的话需要复用还需要自行修改holiday和specialday数组)。package mainimport ( "os" "fmt" "time" "strconv")fun
2016-02-17 13:34:49 880 1
原创 读取写入tar/zip文件(go语言)
1.读取写入tar文件package mainimport ( "archive/tar" "fmt" "os" "bufio" "io")func readFile(path string) string{ var content string = "" file,err := os.Open(path) if err
2016-02-16 17:56:42 2370
原创 Phoenix+HBase使用心得
Phoenix+HBase使用心得:1.没有database,只有schema,schema不能够显式建立,只能够随表一起建立;schema中的表被删除时,对应的schema亦一同被删除。(可以用schema取代database的作用,但在界面上对于用户还是显示database)建表语句:create table test.test1(id bigint prima
2016-02-02 17:08:01 11756 3
原创 m3u文件转pls文件(go语言实现)
m3u是一种文件格式,它类似于下:#EXTINF:,CCTV 1mms://live.cctv.com/cctv_live1#EXTINF:,CCTV 2mms://live.cctv.com/live12比如第一行是#EXTINF:,CCTV 1,那么用逗号隔开的第2个字符串就是文件名称;而第二行则是文件路径对应的pls文件如下:[playlist]Numbe
2016-02-01 22:15:31 1923
原创 ganglia试用
ganglia是一个使用比较广泛的网络监控组件,可以用于集群中多台机器的内存、硬盘、CPU使用情况的监控。在ganglia看来,一个集群是由N台机器组成的,而这N台机器又有m个分组(不同的分组可以认为属于不同的网段的机器)。它是基于这样的理念进行监控的。ganglia重要的组成部分有3个:gmond:它会运行在集群的每一台机器上,监控本机器的情况,并且将情况广播;同时它也会监听到其他g
2016-01-27 22:05:07 1162
原创 NAT防火墙规则的查看与删除
NAT一般用于配置重定向的,比如将XX端口全部重定向到YY端口。查看BSA nat防火墙配置的命令:iptables -t nat -vnL PREROUTING --line-numberiptables -t nat -vnL OUTPUT --line-number删除防火墙规则:iptables -t nat -D PREROUTING 1iptables
2016-01-26 13:22:48 18290
原创 生成ssh key并分发到其他机器上
主要用到了sshpass,使得可以明文指定密码,用于分发key。install.sh代码如下:#!/bin/bashFILEPATH='./filelist'PRIVATEKEY="key"PUBLICKEY="key.pub"IDRSAKEY="id_rsa"IDRSAKEYPUB="id_rsa.pub"USERNAME="myusername"USERPASS="my
2016-01-22 12:32:10 1592
原创 spark源码走读(2)
sc = SparkContext(master,appName)主要是在SparkContext类中,会按照传递的参数;初始化SparkConf对象val arr = Array(1,2,3,4,5)val arr1 = sc.parallelize(arr)进入SparkContext的parallelize方法:def parallelize[T: ClassTag](s
2016-01-22 12:19:17 618
原创 spark源码走读(1)
/usr/local/jdk1.7/bin/java -cp /usr/local/spark/lib/postgresql-9.4-1201.jdbc41.jar:/usr/local/spark/sbin/../conf/:/usr/local/spark/lib/spark-assembly-1.5.2-hadoop2.6.0.jar:/usr/local/spark/lib/datanuc
2016-01-20 13:45:20 1525
原创 断网小记
自从隔壁搬入某君后,我的网就经常断,而且有的时候甚至几天都不能够好。起初我以为是天气的原因,毕竟10月份以来的天气实在是太糟糕了,而周围又在挖路。但是持续到16年1月,足足坏了有4个月,简直不能忍;而某君则从事着白天睡觉晚上打游戏兼与队友沟通+嚎叫的反人类活动,我深深被他优异的网速震撼着。当然,今天我幡然顿悟,那厮悍然对全房间的人进行了家长控制---或类似功能(共6间房,包括我们在内5个房间的
2016-01-05 07:14:30 996 1
原创 Webgoat的配置
Webgoat的war包可以在如下链接下载:http://download.csdn.net/download/mr_wikeyi/43347471.将webgoat的war包放入tomcat的webapps文件夹下。只有tomcat6和tomcat7可以,用tomcat8运行会报invalid session错误。2.在tomcat的conf/tomcat-users.x
2016-01-02 14:13:37 3935 1
原创 Hadoop笔记(二)
HDFS文件的读取方法一,不推荐:package com.hadooptest.hdfstest;import java.io.IOException;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;//每个java虚拟机只能调用一
2015-12-27 14:09:09 449
原创 Hadoop笔记(一)
1.大数据处理不是神话,Hadoop也不是神话。他们不是指在原有的硬件资源(单机,比较少的CPU)就可以迅速的处理TB甚至PB级别的数据。本身TB甚至PB级别的数据就已经超过了现有计算资源的处理能力(或者说,可以处理完,但是要花费难以容忍的时间),办法就是两个:a.提升现有单机的能力b.变为集群,联合使用多台机器的CPU、硬盘a的提升是有限的,而b的提升才是无限的。但联合使用多
2015-12-26 19:08:53 630
原创 Django restframework入门示例
1.前提官网地址为:http://www.django-rest-framework.org/官方推荐安装以下安装包:MarkdownURL:https://pypi.python.org/pypi/Markdown/django-filterURL:https://pypi.python.org/pypi/django-filterdjango-cri
2015-12-16 00:44:15 12994 2
原创 postgresql报错Error while loading shared libraries: libpq.so.5: cannot open shared object file
解决办法,在~/.bashrc中加入:export LD_LIBRARY_PATH=/usr/local/postgresql/lib路径视自己的安装路径情况而定。然后source ~/.bashrc
2015-12-15 13:13:50 24731
原创 HBase配置
前提是已经配置好了Hadoop和Zookeeper。1.配置hbase-site.xml hbase.rootdir hdfs://centos26:9000/hbase hbase.cluster.distributed
2015-12-14 18:46:14 517
原创 新建用户和用户组的shell
RT。代码如下,以供记录。#!/bin/bashexeUser="root"username="tasuser"usergroup="tasuser"if [ `whoami` != "${exeUser}" ];then echo "install.sh must run by root"else echo "start install ..." ps
2015-12-13 16:14:31 2092
原创 kafka topic手动删除及其他相关
1.手动删除kafka topic运行./kafka-topic --zookeeper zk1:2181,zk2:2181 --topic topic_name --delete如果topic没能成功被删除(比如broker挂掉等)可以用以下方式手动清理(当然,也可以重启zk和broker;这样当broker正确注册上zk试,被mark delete的topic会被自动清
2015-11-20 16:56:29 15814 1
原创 HDFS HA with QJM && ResourceManager HA配置
背景:两台机器,ubuntu21(10.67.2.21)和ubuntu20(10.67.2.20)master为10.67.2.21slave为10.67.2.20两台机器上都有zookeeper。用HA后,期望21上的Namenode和ResourceManager是active的,而20上的是standby;遇到namenode/resourcema
2015-11-19 15:39:58 421
原创 thrift使用入门示例
Thrift是apache的RPC框架,支持跨语言的服务。感觉用起来和WSDL差不多,不过一个是需要写wsdl文件,一个是需要写thrift文件。使用过程如下:1.下载thrift,链接:http://thrift.apache.org/download2.编写thrift文件,明确指明提供的服务(方法)shared.thrift/* * Licensed t
2015-11-17 17:57:05 6128
原创 parquet格式的表用HiveContext写入用Spark thriftserver查不到更新
需要在spark-default.conf中配置:然后重启thriftserver
2015-11-14 14:50:28 1036
原创 Spark directStream保存/读取kafka offset
RT。代码备忘。1.Constant.javapackage com.sparktest.util;public class Constant { public static String master = "yarn-client"; public static String topic = "pj"; public static String appName = "sparkt
2015-11-11 18:00:14 8728 2
原创 spring4.2 MVC注解备忘
以下为备忘。1.pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.
2015-11-09 18:35:45 1220
原创 AngularJSb表单校验示例
.error{ color:red;font-size:12px; } var myApp = angular.module("MyApp",[]); myApp.config(function($interpolateProvider){ $interpolateProvider.startSymbol("[["); $interpolateProvider.endSy
2015-10-27 13:19:50 1519
原创 ssh登陆慢的问题
一台20,ssh 24非常慢用ssh -v 10.67.2.24打印出详细信息:发现时间全部耗费在了必将失败的gss认证上所以,在20 vi /etc/sshsudo vi ssh_config修改GSSAPIAuthentication no即可。
2015-09-01 18:19:40 607
原创 pg的pg_stat_activity视图排查问题
如上图所示,pg_stat_activity是一个非常有用的视图,可以帮助排查pg的一些问题(如连接数目过多问题)。pg_stat_activity每行展示的是一个“process”的相关信息,这里的“process”可以理解为一个DB连接。比较有用的3个字段,翻译如下:query_start:active状态的查询开始时间,如果状态不是active的,那么就是最后一次查询开始的时间s
2015-08-28 18:31:07 7467
原创 Kafka集群配置
假设有3台机器192.168.1.102,192.168.1.150,192.168.1.151。假设下面修改的文件为192.168.1.102的文件。1.修改zookeeper.properties# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agr
2015-08-09 12:56:37 1130
原创 由单页应用引出的胡言乱语
单页应用很火。翻开知乎,看到“单页应用的好处”,到处可见:前后端分离等等云云。它是个啥?《单页Web应用----JavaScript从前端到后端》赫然写着,“单页应用指的是在浏览器中运行的应用,在使用期间页面不会重新加载”。举个例子,传统web的导航条,点一个菜单,啪发送一个请求给服务器,然后展示一个新页面;然后点另外一个菜单,啪又发送一个请求个服务器,然后又展示一个新页面。这页面是重新加
2015-07-09 22:48:51 821
原创 yum源配置
0./etc/yum.conf中的配置为[main]cachedir=/var/cache/yumkeepcache=1debuglevel=2logfile=/var/log/yum.logexactarch=1obsoletes=1# PUT YOUR REPOS HERE OR IN separate files named file.repo
2015-07-08 12:35:21 459
转载 AngularJS取消对HTML转义
HTML中使用trustHTML过滤器:而trustHTML过滤器的定义如下:queueApp.filter("trustHtml",function($sce){ return function (input){ return $sce.trustAsHtml(input); } });
2015-07-06 18:29:55 4844
原创 AngularJS配置xsrftoken(django防止跨站)以及防止与django模板冲突的配置
在AngularJS的app中做如下配置即可:例如app是QueueApp:var queueApp = angular.module("QueueApp",["QueueService"]);queueApp.config(function($interpolateProvider) { $interpolateProvider.startSymbol('[['); $
2015-06-30 08:55:37 2746
原创 jstree自定义contextmenu
比如不希望用jstree自身的contextmenu,希望自己定义。则代码如下:function reloadTree(){ dialog.hide(); jQuery("#"+treeid).jstree("refresh");}function showTree(id,json){ treeid = id; menuTree = jQuery("#"+i
2015-06-30 08:52:47 13660 3
原创 带有checkbox的jstree封装
jstree自身的checkbox和选中做得不是很方便,所以我自己在它之上又封装了一下。脚本如下:/***带checkbox的树形控件使用说明**@url:此url应该返回一个json串,用于生成树**@id: 将树渲染到页面的某个div上,此div的id**@checkId:需要默认勾选的数节点id;1.checkId="all",表示勾选所有节点 2.checkId=[1,2]表示
2015-06-30 08:47:04 11072 1
原创 利用jquery实现滚动图片
效果如下所示:代码如下所示:主要是利用了animate方法 ul{ list-style: none; } ul li{ float:left; } #prevBtn,#nextBtn{
2015-06-11 13:29:37 848
原创 Hadoop yarn配置
1.mapred-site.xml配置2.yarn-site.xml配置3.启动服务然后可以通过:http://ip:8088查看正在运行的程序http://ip:5070监控HDFS
2015-05-28 22:33:35 669
原创 [spark]spark/hive配置metastore为postgresql
看文档可以知道,Spark SQL复用了hive的sql解析器/metastore管理。而hive的默认的metastore为derby,它有两个弊端:1.metastore一次仅允许一个客户端连接2.每个客户端进行sql操作时,都会在本进程所在的文件夹内新建metastore所以,在产品的开发中,至少应该将metastore配为postgresql的步骤如下:1.在pos
2015-05-27 19:19:21 5253
phantomjs-linux
2017-04-10
PostgreSQL9.6并行查询(中文)
2017-03-21
softflowd源码包
2016-11-24
hadoop2.6 windows需要的dll文件
2015-05-21
PyDev4.0.0
2015-04-22
jline-2.9.1
2015-04-16
eclipse lua的hadoop2.6.0插件
2015-04-12
masm5.0编译器
2015-03-29
win7(64)运行debug
2015-03-29
elasticsearch.js
2014-10-30
ThinkPHP3.0
2014-02-22
ThinkPHP3.1.3完整包
2014-02-22
python27安装matplotlib的包及依赖
2014-01-12
PowerCmd安装文件
2013-12-03
apache2.2和python2.7的mod_wsgi
2013-10-26
windows gettext0.18
2013-10-21
TortoiseSVN-1.8.2.24708-x64-svn-1.8.3
2013-09-20
SlikSVN1.7.5(64位)
2013-09-20
Mod_Python中文文档
2013-04-02
Python3.3安装文件
2013-03-28
Wing IDE集成开发环境
2013-03-28
PHP帮助文档
2013-03-07
Apache2.2WEB服务器
2013-03-05
Zend Framework1.1.2
2013-03-05
PHP+MySQL开发的投票管理系统
2013-03-04
PHP+MySQL开发的留言本系统
2013-02-26
PHP+ACCESS开发的会议记录系统
2013-01-15
ADODB5.1.1
2012-12-31
Mod_Python2.7安装文件
2013-03-30
MySQL-Python2.7安装文件
2013-03-30
Python2.7安装文件
2013-03-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人