谁说大象不能跳舞

原创 Hive练习（三）

1.创建内部表： create table if not exists innert_test( aisle_id string, aisle_name string ) row format delimited fields terminated by ',' lines terminated by '\n' stored as textfile location '/data/i...

原创 hive练习（二）

1.创建orders表 CREATE TABLE orders ( order_id string, #订单id user_id string, #用户id eval_set string, #标测训练集还是预测集 order_number string, #下订单的排序 order_dow string, #0-6的星期几 order...

原创 hive练习（一）

1.创建article表（建内部表）create table article(sentence string)row format delimited fields terminated by '\n'--从本地导入数据load data local inpath '/home/wl/mapreduce_wordcount_python/The_Man_of_Property.txt' ...

原创 动态规划查找最大公共子序列

• 使用二维数组C[m,n]• C[i,j]记录序列Xi和Yj的最长公共子序列的长度– 当i=0或j=0时，空序列是Xi和Yj的最长公共子序列，故C[i,j]=0以上X和Y进行一 一对比，A和B不相等，则比较它的左边那个数和上边那个数他们两谁大A和D比较，不相等，同理…直达A和A相比，相等，则它的左上角那个数+1以此类推然后按照图写B、C、B、A...

原创 查看端口号

netstat -antup | grep 9092

原创 spark程序提交集群，找不到类的错误

1.创建工程，编译一个项目如果出现这种错误，这个错误是由于Junit版本造成的，可以删掉Test，和pom.xml文件中Junit的相关依赖，即删掉这两个Scala类：和pom.xml文件中的Junit依赖刷新Maven依赖2.写pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://...

原创 Spark Streaming整合kafka（一）Receiver-based

(1) 启动zookeeper./zkServer.sh start(2) 启动kafka./bin/kafka-server-start.sh config/server.properties(3) 创建topic./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --p...

转载 10分钟搞定Windows环境下hadoop安装和配置

Hadoop是大数据的核心武器，下面来介绍在Windows环境下Hadoop的安装和配置1.下载Hadoophttp://www.apache.org/dyn/closer.cgi/hadoop/common2.解压hadoop-2.7.3.tar.gz 点右键“解压到hadoop-2.7.3”文件夹路径 xxx/xxxx/hadoop-2.7.3复制hadoop-2.7.3文件夹到 ...

转载 Spark Idea Maven 开发环境搭建

转载：https://www.cnblogs.com/fillPv/p/5882364.html

转载 如何使用IntelliJ IDEA 配置Maven

转载：https://blog.csdn.net/westos_linux/article/details/78968012一、 首先我们得去Maven的官网去下载Maven 网址: http://maven.apache.org/download.cgi二、 进入Maven官网后如下图点击下载三、解压此Maven的压缩包,注意不要解压到中文路径下,切记!!! 如图四、 解压完后,Ma...

原创 Spark Streaming整合flume（一）push 方式

一：本地测试streaming整合flume1）在集群服务器master中的apache-flume/conf中添加 flume-push-streaming.conf配置文件# Name the components on this agentsimple-agent.sources = netcat-sourcesimple-agent.sinks = avro-sinksimple...

原创 往zookeeper中写入黑名单

1.在python中，pip install kazoo 和 pip install zc-zookeeper-static2.zk创建节点 在test_base.py中import sysimport timefrom kazoo.client import KazooClientzk=KazooClient(hosts='127.0.0.1:2181')zk.start()...

原创 坐标转换（WGS84坐标系 | 火星坐标系）

# -*- coding: utf-8 -*-import jsonimport mathx_pi = 3.14159265358979324 * 3000.0 / 180.0pi = 3.1415926535897932384626 # πa = 6378245.0 # 长半轴ee = 0.00669342162296594323 # 扁率def wgs84togcj0...

原创 python访问zookeeper时遇到的问题

①首先python下安装pip install kazoopip install zc-zookeeper-static②如果以上还是不行在按照以下方法1.下载zkpython$ wget https://pypi.python.org/packages/source/z/zkpython/zkpython-0.4.2.tar.gz2.解压安装:$ tar -zxf zkpytho...

原创 如何将本地项目上传到Github上面（最简单一种是）

1、在github中创建一个repository2，在终端命令行：git clone 这个地址3.把你要上传的项目拷贝到mysparkproject（github中创建的repository名）这个文件里面。然后进入mysparkproject这个目录里面①输入git add .②输入git commit -m “描述下”③输入git push...

原创 spark-shell访问hive表的时候，必须需要注意的

原创 安装hive中除了mysql的问题外

这是因为/usr/local/src/hadoop-2.6.1/share/hadoop/yarn/lib下的jline-0.9.4比较老了，所以需要用/hive/lib/jline-2.12.jar替换替换命令：cp -r /hive/lib/jline-2.12.jar /hadoop-2.5.2/share/hadoop/yarn/lib将jline-2.12.jar拷贝过来，删除掉jl...

原创 爬取京东图片

headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}def req_tieba_img(url,page): html ...

原创 ThingWorx根据时间解决进度条问题

客户要求根据当前时间来显示进度，如机器一天工作从8:00—5:00， 8:00—10:00进度为0； 10:00—12:00进度为1；12:00—12:59 01:00—03:00进度为2； 比如当前时间是8:30，那就是进度为0； 进度条的使用。两个shape重叠；设置属性；然后方法需要 这么连接 方法里面完整代码//var dateValue = new Dat...

原创 ThingWorx里面实现多条件过滤查询（巨麻烦）

1.getFactortyListCopy方法里面实现方法（思路是往分厂里面添加一条“全部分厂”数据，方便以后全部查询）var params = { infoTableName : "InfoTable", dataShapeName : "BPLEAD.factoryListDS"};// CreateInfoTableFromDataShape(infoTa...

原创 ThingWorx删除操作

1.最后配置下删除按钮的属性

原创 ThingWorx实现修改操作

1.首先关联相应的数据修改的方法 最后在Navigation中的属性与方法参数关联上

原创 ThingWorx实现增加和查找数据（传参数）

数据库的字段一定要和DateShape的字段相同查找添加 1.点击保存的时候，关闭窗口时回显下数据 2.位文本框添加验证，一个一个验证，首先编号，如果为空提示。输入车间编号的验证表达式 保存按钮时触发validator验证 validotor的output关联label的visible（显示label） 如果第一个车间编号validator验证为fal...

原创 ThingWorx的控件放到屏幕最中间位置（无论分辨率怎么变）

按钮放到中间位置，适用于任何分辨率，可以这样设计： 两边固定大小，中间3列，把控件放到最中间的layout上，这样不管屏幕怎么变，两边固定大小，中间自适应，这样就保证不管屏幕大小怎么变，控件始终在最中间...

原创 ThingWorx布局

1.ThingWorx布局成适用于电脑，平板，手机的屏幕 选layout时，中间的自适应，然后中间放入 这个控件，这个控件的好处就是无论平板手机，控件放上去就是一行显示，方便平板用户操作，像这样： ...

原创 odoo二次开发（在windows下环境的搭建）

一、下载Odoo http://nightly.odoo.com/10.0/nightly/到这个地址找到合适的版本。exe目录是非源码版本，属于装上就能运行，用来评估Odoo；当然我们开发者还是去src目录下下载源码版本来开发吧。windows自然选择zip版本，解压后即可。二、安装python Odoo目前还是只支持Python2.7。所以去官网下个合适自己系统的版本即可 https:...

原创 odoo学习笔记（二）

1.odoo可以做这些应用： 2.https://cdn.openerp.hk/download 下载win版本，点击傻瓜式安装 可能耗时长一点，建议安装时关闭电脑管家、360。安装成功后，输入邮箱密码，进入这个界面 ...

原创 odoo学习笔记（一）

一、odoo是什么 1.odoo不仅仅是开源ERP/CRM，还是一套伴随企业成长可扩展的商业运营支撑系统。二、odoo应用 1.企业网站、电子商务系统、进销存系统、客户关系系统； 2.人力资源系统、项目管理系统、生产制造系统、财务会计系统；三、为什么odoo而生 1.目前大多企业的现状是这样：只有简单的办公软件，缺少一套支撑企业日常运营的业务系统，企业所有的信息都散落在公司的各个员...

原创 ThingWorx连接postsqlgrep

1.导入ptc产品大学里面的一系列包 2.3.4.

转载 PostgreSQL登录及修改密码

PostgreSQL登录 1、可通过客户端pgAdmin III直接登录 通过pgAdmin III登录PG库2、可通过命令行 命令：psql -h 10.10.10.10 -U user -d postgres -p 5570 1 -h：数据库IP -U：登录用户 -d：登录的数据库 -p：登录端口方法：进入postgreSQL的客户端安装目录（我的安装目录：C:...

原创 jquery学习笔记（七）验证用户名和邮箱

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style> </style> &

原创 jquery学习笔记（六）

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style> </style> &

原创 jquery学习笔记（五）

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style> </style> &a

原创 jquery歇息笔记（四）

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style> </style> &a

原创 jquery学习笔记（三）

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style> .container {

原创 jquery学习笔记（二）

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <style> .advanced{ display

原创 jquery学习笔记（一）

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title> <script src="js/jquery.min.js">&

原创 python爬取知乎（模拟登陆）

zhihu.py# -*- coding: utf-8 -*-__author__ = 'bobby'import requeststry: import cookielibexcept: import http.cookiejar as cookielibimport resession = requests.session()session.cookie...

原创 scrapy爬取jobbole

\ArticleSpider\spiders\jobbole.py(爬虫下的代码)# -*- coding: utf-8 -*-import scrapyimport refrom scrapy.http import Requestfrom urllib import parsefrom ..items import JobboleArticleItem,ArticleItemLo...

原创 单机下进行分布式爬取数据(windows下单机模拟多机进行分布式爬虫)

URL管理器ControlNode/ URLManager.py#coding:utf-8import cPickleimport hashlibclass UrlManager(object): def __init__(self): self.new_urls = self.load_progress('new_urls.txt')#未爬取URL集合 ...