- 博客(58)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Python 定时重试
from func_timeout import func_set_timeoutfrom func_timeout.exceptions import FunctionTimedOutimport timefrom retrying import retryimport functools#===============测试1=====================# 超时时间设为2秒，2秒后自动结束@func_set_timeout(2)def f1(): print("f1.
2021-05-14 07:49:51
199
原创 Jetty Hello World 入门
scala 代码 ，包含路由，handler，servlet，代理。import java.io.IOExceptionimport javax.servlet.ServletExceptionimport javax.servlet.http.{HttpServlet, HttpServletRequest, HttpServletResponse}import org.eclip...
2019-01-21 11:40:33
237
原创 scala 反射
scala 反射原始类型的反射原始类型的反射object T1{ def f1(n:Int){ println(n) }}object Test{ def main(args:String[]){ val clz = Class.forName("T1") val m = clz.getMethod("f1",1.getClass) m.invoke(null,10:...
2019-01-08 11:24:04
471
原创 RDD 辅助功能 implicts
object RDDImplict{implicit class RDDOps[T](rdd: RDD[T]) { def partitionBy(f: T => Boolean): (RDD[T], RDD[T]) = { val passes = rdd.filter(f) val fails = rdd.filter(e => !f(e)) // Spar...
2018-11-02 17:33:06
253
原创 Hive/Impala 复杂类型使用 Complex types
主要是在impala中使用复杂类型（array，struct，map），作为测试所以需要hive。具体过程：创建hive表1 编写本地数据文件，导入数据 创建hive表2，存储为parquet（这样才能在impala中使用），从表1导入到表2cloudera impala有不同的example提供，可参考但其中唯有一点没有说清楚：即在第二部中，本地文件的编写，如果嵌套层级很深，如何写...
2018-10-31 10:45:21
2080
原创 python soap hello world
Server.pyfrom soaplib.service import soapmethodfrom soaplib.serializers.primitive import String, Integer, Arrayfrom soaplib.wsgi_soap import SimpleWSGISoapApp class HelloWorldService(SimpleWSGIS...
2018-04-17 18:31:29
218
原创 Spark updateWithState
import org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.dstream.DStreamimport org.apache.spark.streaming.kafka010.ConsumerS...
2018-03-28 18:47:24
263
原创 reportlab 生成pdf
# -*- coding=utf-8 -*-import sysreload(sys)sys.setdefaultencoding('utf8')from reportlab.lib import colorsfrom reportlab.lib.pagesizes import A4from reportlab.platypus import Table, TableStylefr...
2018-02-12 17:39:28
852
原创 Flask Sql通过参数创建表
# Integer,Float,String,DateTimedef getColumnObject(dbColumnDict): ctype = dbColumnDict["type"] isIdx = dbColumnDict["index"] if ctype == "String": n = dbColumnDict["length"]
2018-01-08 14:26:09
521
原创 python table打印为pdf
# -*- coding=utf-8 -*-# 使用reportlab，注册中文字体import sysreload(sys)sys.setdefaultencoding('utf8')from reportlab.lib import colorsfrom reportlab.lib.pagesizes import A4, landscapefrom reportlab.pl
2018-01-04 15:44:46
1224
原创 Mac Mysql 重置密码
Mac Mysql 重置密码操作系统：MacMysql 版本：5.7.20 sudo ./mysqld_safe –skip-grant-tables mysql> UPDATE mysql.user SET authentication_string = PASSWORD(‘your_new_password’) WHERE User=’root’; mysql
2017-10-26 10:44:18
334
原创 Java 参数检查
java 参数检查 Effective Java 第38条：检查参数的有效性文档说明公有方法体前检查非公有用assert运行中报错，则需捕捉异常，可以通过代码分析出是哪种类型的异常。并非所有方法都要做参数检查，视情况而定 ArrayList.java 部分源代码 /** * Constructs an empty list with the specified ini
2016-04-05 22:13:30
1766
原创 hive 中使用shell/python
官方参考 国内参考使用的技巧：TRANSFORM在hive中使用shell或python，主要优点是减少用java编写udf的工作。这样就十分方便与字段一些处理。 官方参考对python的说明比较详细，shell较少，先上传一个shell的示例；SHELL#!/bin/bash# file name : convertDate.sh# function : convert date to a
2015-08-05 14:59:20
1370
原创 Storm Trident Example 代码阅读笔记
Trident 统计可参考 主要使用TupleCollectionGet(),但还有问题，即每次drpc访问只能返回一个partition的数据，如何一次访问返回所有partition的数据，还没解决。public static void main(String[] args) throws Exception { Config conf = new Config(); conf.
2015-07-21 19:34:15
972
转载 ubuntu 手动安装flashplayer
This is how to install Adobe Flash Plugin for Firefox:Go to this page and select the option .tar.gz for other Linux. Download the file.Unpack the plugin tar.gz and copy the files to the appropri
2015-07-11 00:31:44
535
翻译 Clojure入门
语法参考形式/Forms数据：nubmbers,strings,maps,vectors操作数据： 1 “a string” [“a” “vector” “of” “strings”]操作：由( )规范 (operator operand1 operand2 … operandn)例子: (+ 1 2 3) ; => 6 (str “It was the
2015-06-28 17:39:28
545
原创 Zookeeper删除目录
ZooKeeper zk=new ZooKeeper(host, timeout, new Watcher(){})public void delPath(String path) throws Exception{ List<String> paths=zk.getChildren(path, false); for (String p:paths){
2015-05-12 16:58:06
9589
原创 shell脚本编译java
#! /bin/bash# 0 define target jar file nametargetjarName="test.jar"# 1. find classpathcurPath=$(cd "$(dirname "$0")"; pwd)# echo $curPathstormHome='/usr/local/storm'for i in $stormHome/lib/*.jar
2015-05-12 11:29:51
1336
原创 Redis 2 Mysql
功能简介读取Redis数据写入Mysql数据遇到的问题Redis读取速度慢Mysql写入速度慢Mysql的update如果不成功，需要insert解决的方法Redis 使用jedis，及jedis的pipeline方法，进行批处理Mysql 使用jdbc的批处理代码示例jedis pipeline 的使用Jedis jedis=new Jedis("yourip",port);
2015-05-12 10:11:13
467
转载 Jedis 增删改查
初始化Jedis redis = new Jedis ("192.168.10.63",6379);//连接redis redis.auth("redis");//验证密码 Keys操作“`java //KEYS Set keys = redis.keys(“*”);//列出所有的key，查找特定的key如：redis.keys(“foo”)
2015-05-10 17:25:31
767
原创 【Storm 入门】 Blot分流
场景介绍这是一个很普通的使用场景，spout 发送数据至blot1，blot1根据数据分类发送至blotA 和 blotBSpout->Blot1Blot1->BlotABlot1->BlotB代码介绍在总blot中声明几个流streamId，在execute中emit中指定发送的流在Topology中，指定blot读取哪个streamId的stream# in Blot1.java p
2015-05-07 18:45:18
2415
原创 Nginx 安装入门
参看官网# centos6 安装yum install nginx# 启动nginx# 测试curl localhost# 关闭nginx -s quit# -s stop|quit|reopen|reload# 修改access.log格式vim /etc/nginx/nginx.conf# log_format main ....可以修改# 重新加载配置nginx -s
2015-05-05 23:47:43
390
原创 Factorization Machines
pdftotext工具推荐sudo apt-get install gocr pdftotext xxx.pdf a.txtFactorization MachinesSteffen Rendle Department of Reasoning for Intelligence The Institute of Scientific and Industrial Research Osaka
2015-05-05 23:20:55
1299
原创 【Redis】安装及入门操作
主流程# 下载wget http://download.redis.io/redis-stable.tar.gztar xvzf redis-stable.tar.gzcd redis-stable# 安装makemake install# 启动redis-server &# 操作redis-cliredis 127.0.0.1:6379> pingPONGredis 12
2015-05-05 17:45:36
473
原创 【Hive 入门3】Streaming
简介Hive Streaming类似Hadoop Streaming技术，可以将使用脚本来处理数据，在hadoop streaming中,map/reduce用脚本如shell，python等替代，在hive streaming中，读取数据可以用脚步替代。例子 MovieLens User Ratings创建数据表udata.sqlCREATE TABLE u_data ( userid INT
2015-04-25 09:50:52
1989
原创 Hive安装
具体参考Hive Getting Started0 前置条件Linux ：CentOS/Ubuntu JDK 已安装 Hadoop 已安装1 安装tarball，配置环境变量$ tar -xzvf hive-*-.tar.gz $vim /etc/profile 后者 vim ~/.bashrc 添加 export HIVE_HOME=/your/path export PATH=
2015-04-24 15:15:58
775
原创 mobaxterm apt-get apt-cyg install error
Error：MD5 sum did not match, exiting替换 md5验证为sha512验证vim /usr/bin/apt-cyg%s/md5sum/sha512sum/g
2015-04-22 17:43:54
2402
原创 Python class
参考：https://docs.python.org/2/tutorial/classes.htmlclass MyClass: """A simple example class""" i = 12345 def f(self): return 'hello world'调用属性：MyClass.i 调用函数：MyClass.f 打印注释：MyClass
2015-04-16 17:05:04
454
转载 The Zen of Python
在python shell中，输入import this，会显示The Zen of Python, by Tim PetersBeautiful is better than ugly.Explicit is better than implicit.Simple is better than complex.Complex is better than complicated.Flat
2015-04-16 14:24:04
439
原创 Python入门
安装一般linux系统默认都安装python,在终端键入python检查是否已经安装成功，若没有，用yum安装。 yum install python27 python27-develhelloworld脚本键入python，可以在python的shell下运行print "hello world"，也可以通过python脚步运行。vim helloworld.py#! /usr/bin/pyth
2015-04-14 15:53:12
398
原创 CentOS 安装WordPress
安装LAMP安装Apahce, PHP, MySQL以及php连接mysql库组件。 yum -y install httpd php mysql mysql-server php-mysql 安装apache扩展 yum -y install httpd-manual mod_ssl mod_perl mod_auth_mysql 安装php的扩展 yum -y in
2015-04-13 11:51:51
455
原创 Mahout kmeans
Created with Raphaël 2.1.2开始随机选k个中心(初心)判断n属于哪个中心(归簇)重新计算簇内的中心(新心)新旧中心偏差不大，或迭代次数已满结束yesno
2015-04-08 09:52:16
515
原创 Mahout安装
Mahout安装目录Mahout安装目录简介下载09版本解压配置文件测试简介Mahout 是基于hadoop/spark的机器学习框架,具体分为推荐引擎(recommender engines)，聚类分析(clustering)，分类(classifaction)下载0.9版本wget http://mirrors.cnnic.cn/apache/mahout/0.9/mahout-di
2015-04-07 11:18:42
554
原创 Hadoop Combiner 使用问题
本想通过combiner减少输入到reduce的数据，但是使用过程中总发生问题。后来看权威指南，才知道，combiner是会反复调用的，即可能两个combiner一次后，将结果再传给一个combiner；所以写combiner一定要输入和输出格式相同，并不是同reducer相同就可以，reducer的输入和输出格式是未必相同的。mapper1 -> combiner1map
2015-04-04 06:55:35
663
原创 Warn : Hadoop No job jar file set.
集群部署了mapreduce1，自己写了一个job，打包成jar，然后运行，怎么也不同过，一直报错：Nojob jar file set网上找了很多，都不是：结果是jar放在了/root/目录下，没权限读jar，放到/opt/下就解决了网上一般都出错在job代码中没加：job.setJarByClass(YouJob.class);
2015-04-03 20:38:37
1096
翻译 Hadoop MR1 安装配置
具体参考http://hadoop.apache.org/docs/r1.2.1/cluster_setup.htmlMRv1 的配置在Yarn推出之后，本身并没有改变。所以参考老版本的hadoop，还是必要的。目的本文涉及：安装、配置、管理 Hadoop 集群。PrerequisitesMake sure all required soft
2015-04-01 13:12:56
878
原创 Ubuntu ssh port 22 :Connection refused
ssh localhost 报错：ssh: connect to host localhost port 22: Connection refused一般是server没安装，安装即可apt-get install openssh-server或者查看防火墙是否开启ufw status
2015-01-11 13:33:07
719
原创 Ubuntu 14.04 wifi 华硕笔记本 无法连接 硬件开关关闭
具体可参考：http://ubuntuforums.org/showthread.php?t=2181558实用：1. echo "options asus_nb_wmi wapf=4" | sudo tee /etc/modprobe.d/asus_nb_wmi.conf2. 重启
2015-01-11 10:29:12
1655
原创 SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
运行如下程序public class Test2 { public static void main(String[] args) { // TODO Auto-generated method stub Logger LOG = LoggerFactory.getLogger(Test2.class); System.out.println(".....hi");
2015-01-08 15:06:34
3441
原创 【HIVE 入门2】简单操作
0 前提hive 安装完毕，进入 shell1 创建表create table test(id int,name string,age string)row format delimited fields terminated by '\t'stored as textfile;Note:文本是通过table键分割，如果文本格式有问题，读到的数据都会成为Nu
2014-12-16 22:44:00
622
ado参考手册程序员必备
2009-04-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人