panguoyuan-CSDN博客

原创 Presto on yarn解决方案

Deploying Presto on a YARN-Based Clusterpresto不像spark那样默认就支持yarn，spark与yarn兼容性很好，只需要简单的配置下启动脚本和集群环境就可以在Yarn上运行spark任务。presto则不然它需要借助于slider。通过slider实现presto on yarn。Yarn是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。所以此方案就是把presto的应用提交到

2017-09-26 19:01:53 6122 11

原创 Spark-2.1.0-hadooop-2.6.0-cdh5.7.0源码编译

目前 Spark 编译脚本已经将Maven 集成进来了，以方便编译以及部署。这个脚本将会在它本地 build/ 编译目录自动下载和安装所有编译过程中所必需的( Maven，Scala 和 Zinc )。可以手动修改dev/make-distribution.sh脚本，使其选择自己安装好的Maven，如果不修改这个脚本会自动安装所需要的编译环境。确保编译的机器能正常访问外网，建议在测试环境编译，生产上对网络做各种限制，即便开通了代理也还会报各种诡异在错误。

2017-07-04 15:04:10 2328 2

原创 Scrapy安装及demo测试笔记

Scrapy安装及demo测试笔记一、环境搭建1. 安装scrapy：pip install scrapy2.安装：PyWin32，可以从网上载已编译好的安装包：http://www.lfd.uci.edu/%7Egohlke/pythonlibs/#pywin32安装完之后会报如下错误解决办法，把以下两个文件拷贝到C:\Windows\System32目录下二、创

2016-09-01 16:34:00 2465

原创有道笔记无法同步（笔录）

当经常翻墙或代理时，有些软件或IE浏览器会自动修改一些配置项，导致有道笔记无法登录，具体修改了哪些配置已经不知道了，所以此时还原IE默认设置。因为我之前把IE功能关掉了，所以我现在把IE打开到此为止，重登录有道笔记，问题得到解决。

2016-07-22 16:06:29 690

原创 Java调用Python脚本

1、本地环境安装的是Python 2.7.112、用maven下载jython依赖 org.python jython 2.7.03、python脚本编写#coding:utf-8def adder(a, b): return a + b def mytest(str2): print str2 4、Java调用Py

2016-07-22 11:12:22 6337 3

原创 VMware网络配置笔记

如果网络没有配置好，那么在VM里不能ping通windows主机，1、先查看一下当前有哪些网络可以连接2、打开VMware的网络编辑器3、查看有哪些连接可用，如果没有新建一个，确保有可用的连接如下图4、自定义的虚拟网络名称选择与上面第3步可用的连接一致5、以下方式是自动DHCP方式6、测试成功

2016-06-27 17:16:23 413

原创 eclipse-spark开发环境

1、从spark 官网下载的都是使用Scala2.10编译的，别的版本很少编译过，用scala2.11.7报如下错误Description Resource Path Location TypeMore than one scala library found in the build path (D:/scala-SDK-4.3.0-vfinal-2.11-win3

2016-06-24 12:02:48 2024

原创 win64下安装numpy-scipy-matplotlib-scikit-learn

安装numpy问题说明1、在win64 python2.7环境中，安装numpy会发现，直接使用“pip install numpy”无法安装numpy2、我在网上找到类型的exe安装包，由于这个exe是32位的，安装时并没有提示错误，但使用时会报错3、可以参照blog:http://my.oschina.net/HIJAY/blog/485063?fromerr=nInDlgk

2016-02-26 15:15:06 3381

原创 python闭包学习笔记四

#coding:utf-8'''闭包作用：封装、代码复用.>>>>>>>闭包存放函数的方式'''#def my_sum(*arg):# if len(arg) == 0:# return 0# for val in arg:# if not isinstance(val, int):# return 0# re

2016-02-25 21:55:21 517

原创 python闭包学习笔记三

#coding:utf-8''''闭包作用：封装、代码复用.>>>>>>>闭包存放数值型的方式'''def func_150(val): passline = 90; if val >= passline: print "pass" else: print "failed" def func_100(val):

2016-02-25 21:54:29 540

原创 python闭包学习笔记二

#coding:utf-8''''闭包'''passline = 60def func(val): passline = 90; print "val_id:%x" %id(val) if val >= passline: print "pass" else: print "failed" def

2016-02-25 21:53:23 398

原创 python闭包学习笔记一

函数实质与属性1、函数是一个对象2、函数执行完成之后内部变量回收3、函数有属性4、函数有返回值函数LEGB：L>E>G>BL:local函数内部作用域E:enclosing函数内部与内嵌函数之间G:global全局作用域B:build-in内置作用域#coding:utf-8#def add(x,y,f):# return f(x)+f(y)

2016-02-25 21:52:12 409

原创 python装饰器的学习笔记一

#coding:utf-8'''http://www.imooc.com/learn/581 装饰器其实就是对闭包的使用'''def my_closure(func): print "my_closure" def in_func(*args): print "in_func.args=",args if len(args)==0:

2016-02-25 21:44:14 562

原创 python装饰器的学习笔记二

#coding:utf-8def deco(func): def in_deco(): print "in_deco" func() print "call deco" #如果这里不显示返回的话，默认是None return in_deco'''在这里我们使用了deco来进行装饰'''@deco def bar()

2016-02-25 21:42:39 362

原创 python装饰器的学习笔记三

#coding:utf-8'''装饰器实质就是闭包的使用'''def deco(func): def in_deco(x,y): print "in_deco" func(x,y) print "call deco" #如果这里不显示返回的话，默认是None return in_deco'''在还没有使用@deco来装饰

2016-02-25 21:38:22 429

原创 Linux运维汇总笔记

一、查看CPU信息1、总核数 = 物理CPU个数 X 每颗物理CPU的核数 2、总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数3、查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l4、查看每个物理CPU中core的个数(即核数) cat /proc/

2015-09-08 15:22:52 738

原创 eclipse导出jar包的问题总结

eclipse各种打包方式第一种解决方案Copy requeired libraries libraries into a sub-forder next to the generated JAR选用这个选项，eclipse生成的jar包1.把自己写应用打成一个jar包,如：test.jar2.创建一个文件夹与该jar包同名并在其后面加"_lib"，如：test_lib3.

2015-09-07 12:00:20 1222

原创 nginx+tomcat负载均衡实现session共享

nginx,tomcat负载均衡

2015-09-05 09:27:18 1095

原创 Maven使用经验总结

1、异常：Project configuration is not up-to-date with pom.xml解决办法右键项目，【Maven】--》【Update Project Configuration...】2、新建maven子模块出现 Unable to read parent POM错误把pom.xml文件中的中文字符全部删除包括注释

2015-08-25 20:24:42 1101

原创 Java日期转换

1.从Nginx日志里截取到的字符串转成日期类型 String date = "[08/Aug/2015:15:29:14 +0800]"; SimpleDateFormat sdf = new SimpleDateFormat("[dd/MMM/yyyy:HH:mm:ss z]", Locale.US); Date s = sdf.parse(

2015-08-10 15:20:18 469

原创 hadoop配置好之后启服务，jps能看到datanode进程，可是后台的datanode日志有如下错误，且50070端口上也是没有活的节点

2015-04-22 14:17:29,908 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: For namenode master/192.168.1.100:53310 using DELETEREPORT_INTERVAL of 300000 msec BLOCKREPORT_INTERVAL of 21600000msec I

2015-04-22 17:20:53 4357

原创 Flume使用笔记

1、当一台机器运行多个flume脚本，时执行:ps -aux|grep flume会输出很多个进程出来，且当本地的环境变量配置很多时（如：Hadoop，Hbase...），此时会在控制台打印很多JVM加载的依赖，没办法看哪个进程运行了哪个flume脚本。此时可以根据端口来找：（1）netstat -nlpt|grep 44444（2）第（1）步可以看到对应的进程号，只需要将该进程号kill

2015-04-14 17:30:02 1375

原创 storm提交topology时supervisor无法创建worker

问题描述在本地eclipse运行是好好的，可是提交到集群上去之后什么都没反应。提交topology之后，在storm UI上看topology的worker数与在程序里设置的值是一样的，但是到对应的机器去查看的时候，发现那个worker并没有存在，在日志目录下也没有找到worker的日志，提交topology也并没有报什么错误提示，所以很茫然，此时倒是很希望它弄出一个错误出来好去定位问题，

2015-04-03 11:26:20 3106 1

原创 Storm启动异常[ERROR] Error when processing event，Supervisor启不来

当storm服务非正常终止（如关机没关虚拟机，或机器断电）时，下次再启动storm时会报如下错误2015-03-28 02:26:08 b.s.d.supervisor [INFO] Starting supervisor with id 7466cd48-9ca2-4957-844c-c03fa1ce7ca9 at host storm12015-03-28 02:26:08 b.s.

2015-03-28 17:47:23 2382

原创 Kafka监控工具KafkaOffsetMonitor

1.下载KafkaOffsetMonitor-assembly-0.2.0.jar 网盘地址：http://pan.baidu.com/s/1eQgYZOA 密码：rd5y2.在服务器上创建kafka-offset-console目录3.把下载好的文件上传到刚刚创建的目录下4.创建监控程序运行的产生的日志输出目录：/app/kafka-offset-console/logs5

2015-03-23 18:51:05 4717

原创自定义FlumeKafkaSink

1、自定义FlumeKafkaSinkpackage com.panguoyuan.flume.sink;import java.util.Iterator;import java.util.Map;import java.util.Map.Entry;import java.util.Properties;import kafka.javaapi.producer.Produc

2015-03-23 14:08:48 2729

原创 Kafka Manager安装笔记

1、下载已经编译好的kafka-manager-1.0-SNAPSHOT.zip 百度网盘：http://pan.baidu.com/s/1i349zet 密码：9vfk2、解压到指定的安装目录：unzip kafka-manager-1.0-SNAPSHOT.zip3、修改conf/application.conf文件kafka-manager.zkhosts=设置为自己z

2015-03-23 10:56:41 2476 1

转载 apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法

kafka.common.ConsumerRebalanceFailedException :log-push-record-consumer-group_mobile-pushremind02.lf.xxx.com-1399456594831-99f15e63 can't rebalance after 3 retriesat kafka.consumer.ZookeeperConsumer

2015-03-11 17:25:26 1200

原创自定义HbaseSink输出采集日志到Hbase

前提：当前机器都安装用hbase，hadoop，flume，如果没安装有hbase和hadoop的可能会少一些依赖，把core-site.xml，hdfs-site.xml，hbase-site.xml配置文件拷贝到Flume安装目录的conf目录下，打jar包的时候只需要把下面的java类打进去即可，不需要别的依赖。1、编写Serializerpackage com.pang

2015-03-03 16:28:50 3734

原创 Kafka学习笔记

1、在使用Java API访问之前先在安装有kafka的各个节点启动服务bin/kafka-server-start.sh config/server.properties &2、报如下错误props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092"); props.put("serializer.cl

2015-02-07 17:52:50 1788

原创基于Mahout的图书推荐系统

一、用Maven搭建Mahout的开发环境package com.panguoyuan.mahout.itemcf;import java.io.File;import java.io.IOException;import java.util.List;import org.apache.mahout.cf.taste.common.TasteException;impor

2015-02-05 10:32:33 3264 1

原创 RocketMQ使用笔记

1、将alibaba-rocketmq-3.2.2.tar.gz解压2、设置/app/alibaba-rocketmq/bin目录下执行脚本的权限:chmod +x ./bin/*.sh3、启动nameserver（192.168.232.147）：nohup ./bin/mqnamesrv >/dev/null 2>&1 & #默认端口98764、启动mqbroker ：nohup

2015-02-04 15:05:04 2892

原创 JavaAPI访问Hadoop2.2HA的配置下访问Hbase0.96.2

1、确保Hadoop和Hbase服务已经正常启动了2、把hbase-site.xml,core-site.xml,hdfs-site.xml配置文件放到Java工程的src目录下3、引入相关的依赖包4、Java Client测试访问Hbase集群package com.hbase.test;import java.util.ArrayList;import jav

2015-01-28 10:33:33 1709

原创 Spark集群基于Zookeeper的HA搭建部署笔记

1.环境介绍（1）操作系统RHEL6.2-64（2）两个节点：spark1(192.168.232.147),spark2(192.168.232.152)（3）两个节点上都装好了Hadoop 2.2集群2.安装Zookeeper（1）下载Zookeeper：http://apache.claz.org/zookeeper ... keeper-3.4.5.tar.gz（2

2015-01-26 15:46:05 3793

原创 windows-7-64下memcached的安装测试

1.下载memcached-win64-1.4.4-14.zip安装包2.解压到指定的安装目录3.以管理员的身份运行cmd命令(注意，一定是管理员身份，要不然会报报莫名其妙的错)4.Java客户端访问，默认端口是11211package com.panguoyuan.week5;import com.danga.MemCached.MemCachedClient;impo

2015-01-04 17:16:36 1373

原创 Storm学习笔记二

主要内容：通过spout读取文件中的内容，然后分别以两个bolt来处理package com.panguoyuan.storm.lession2;import backtype.storm.Config;import backtype.storm.LocalCluster;import backtype.storm.StormSubmitter;import backtype.sto

2015-01-02 12:37:59 709

原创 Storm学习笔记一

1.先生成数据源package com.panguoyuan.storm.lession1;import java.io.File;import java.io.FileOutputStream;import java.io.IOException;import java.util.Random;public class ProductionData {

2015-01-02 11:09:36 841

原创 linux命令运维汇总

1.Binary file (standard input) matches用grep "search word" log.txtlinux系统认为是二进制文件，需要在搜索词前加上-a，如：grep -a "search word" log.txt

2014-12-15 18:40:17 820

原创 Kafka-storm的开发错吴总结

工程是基于Maven来构建1、clojure如果是1.4.0会报如下错误，换成1.6.0即可解决 org.clojure clojure 1.6.02.Caused by: java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the clas

2014-12-14 14:47:08 6410

原创 Uedit32设置字体大小

1、网上有很多UE可以下载的，可是我试了一下很多都是需要安装，且还要注册码，很复杂，下载了几个都用不上；2、我用的这个UE是免安装的，且不用注册码，解压马上能用；3、UE默认的字体很小，都需要重新设置，以下是设置字体大小界面。

2014-11-21 14:43:05 3277

UnlimitedJCEPolicy.tar.gz

关于AES-256加密：对于使用 centos5. 6及以上的系统，默认使用 AES-256 来加密的。这就需要集群中的所有节点上安装 Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy File。下载的文件是一个 zip 包，解开后，将里面的两个文件放到下面的目录中：$JAVA_HOME/jre/lib/security 解压 JCE 支持组件至${JRE_HOME}/lib/security/ tar -zxvf UnlimitedJCEPolicyJDK7.tar.gz cplocal_policy.jar US_export_policy.jar $JAVA_HOME/jre/lib/security/

2019-07-25

googleapies-css-fonts.tar.gz

fonts.googleapis.com 加载慢，现在的 fonts.useso.com 也慢，解决方案：从google上扒下来，把css和字体文件都放到本地

2019-07-25

JsonViewer Json可视化工具

json可视化工具

2016-10-12

ssdb-java驱动

ssdb的java官方驱动，api大部分和redis差不多

2016-10-12

图书推荐数据集Book-Crossing

这个数据集是网上的Book-Crossing图书社区的278858个用户对271379本书进行的评分，包括显式和隐式的评分。这些用户的年龄等人口统计学属性(demographic feature)都以匿名的形式保存并供分析。这个数据集是由Cai-Nicolas Ziegler使用爬虫程序在2004年从Book-Crossing图书社区上采集的。下载后可以很方便的做自己的图书推荐系统原型设计

2014-06-10

Oracle查询优化.pdf

Oracle查询优化.pdf，oracle查询性能优化。

2014-01-26

python基础教程.pdf

2014-01-26

mongodb学习手册.pdf

Mongodb简介 1. MongoDB的名称取自“humongous”(巨大的) 的中间部分，足见mongodb的宗旨在处理大量数据上面 2. MongoDB是一个开源的、面向文档存储的数据库，属于Nosql数据库的一种 3. MongoDB可运行在unix、Windows和OSX平台上，支持32位和64位应用，并且提供了java、php、c、c++、c#、javaScript多种语言的驱动程序 4. 目前正在使用MongoDB的网站和企业已经超过100多家

2014-01-22

oracle 11g jdbc驱动

2014-01-20

ExtJS快速入门指南.pdf

一、ExtJS 框架简介...............................................................................................................3 二、如何使用Ext.................................................................................................................. 3 三、Ext 组件......................................................................................................................... 4 1、组件简介...................................................................................................................4 2、组件XType............................................................................................................... 5 3、组件应用...................................................................................................................5 4、组件配置选项........................................................................................................... 6 5、组件属性...................................................................................................................7 6、组件方法...................................................................................................................8 四、事件及事件响应............................................................................................................. 8 五、Component 及Container 简介........................................................................................ 11 1、Ext.Component........................................................................................................ 11 2、Ext.Comtainer.......................................................................................................... 12 六、面板Ext.Panel.............................................................................................................. 12 面板Panel 简介............................................................................................................ 12 面板内容...................................................................................................................... 14 面板与DOM 节点DIV................................................................................................. 15 七、ViewPort....................................................................................................................... 16 八、窗口Window................................................................................................................ 18 九、对话框.......................................................................................................................... 20 十、TabPanel....................................................................................................................... 24 十一、布局.......................................................................................................................... 28 十二、表格Grid.................................................................................................................. 31 十三、TreePanel.................................................................................................................. 32 十四、表单Form................................................................................................................. 34 十五、理解Html DOM、Ext Element 及Component............................................................ 36 十六、Ext 类中的get 方法简介........................................................................................... 37 十七、如何学习及掌握Ext..................................................................................................39

2014-01-15

Java面试宝典.pdf

Java面试宝典.pdf java面试题，讲得很全，基本所有的JAVA面试题都在上面。

2014-01-15

云计算入门指南.pdf

云计算入门指南.pdf 更高水平的云计算 ........................................................4 为何要实现云计算? .......................................................5 云: 远远优于廉价计算.................................................5 全新规模的 IT 效率 ..............................................6 编程更快、更灵活...............................................6 抓住新的机会: 云生态系统 ............................................7 云计算的起源 .......................................................8 利用云计算 .........................................................9 使用云.........................................................9 掌控云.........................................................9 构建云........................................................10 成为云........................................................10 公用云、专用云和混合云.............................................10 云计算定义 .............................................................11 基础性技术 ........................................................11 云计算架构服务层 ..................................................12 把软件当作服务 (SaaS) .........................................12 把平台当作服务 (PaaS) .........................................12 把基础设施当作服务 (IaaS) ......................................13 云揭秘 .................................................................13 虚拟化.............................................................13 操作系统虚拟化................................................14 平台虚拟化....................................................14 网络虚拟化....................................................14 应用程序虚拟化................................................15 软件部署...........................................................15 软件打包......................................................15 机器映像......................................................16 Sun 公司云哲学 ..........................................................16 开放源和互操作性...................................................16 综合产品组合 ......................................................17 目录 Sun 云计算 | 3 企业级系统品质.....................................................17 效率/经济性...................................................18 可靠性/可用性.................................................18 密度/可扩展性.................................................18 敏捷性........................................................18 安全性........................................................18 Sun 公司与云相关的新技术 ................................................19 虚拟化.............................................................19 模块化系统.........................................................20 开放式存储.........................................................21 您可以做什么............................................................22

2014-01-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

UnlimitedJCEPolicy.tar.gz

googleapies-css-fonts.tar.gz

JsonViewer Json可视化工具

ssdb-java驱动

图书推荐数据集Book-Crossing

Oracle查询优化.pdf

python基础教程.pdf

mongodb学习手册.pdf

oracle 11g jdbc驱动

ExtJS快速入门指南.pdf

Java面试宝典.pdf

云计算入门指南.pdf

Hadoop实战.pdf

Hadoop集群常见错误收集.doc

ganglia-3.2.0.tar.gz

java反编译工具.zip

Hadoop权威指南第2版中文版.pdf

linuxshell编程

neo4j-enterprise-1.9.4-unix.tar.gz

JAVA正则表达式实例教程

oracle学习笔记

空空如也