- 博客(11)
- 资源 (9)
- 问答 (2)
- 收藏
- 关注
原创 在window上运行spark1.6.0
1、首先在官网上下载:spark-1.6.0-bin-hadoop2.6.tgz2、解压后,放到D盘下,并改名为spark-1.6.0,将D:\spark-1.6.0\bin加入到环境变量中,在终端中输入:pyspark,能打开交互界面,但是提示:ERROR util.Shell: Failed to locate the winutils binary in the hadoop bin
2016-05-29 15:34:17 1735 2
原创 pyspark ArrtibuteError: 'builtin_function_or_method' object has no attribute '__code__'
在使用spark1.5.0时,出现这个问题:ArrtibuteError: 'builtin_function_or_method' object has no attribute '__code__'解决办法,换用高版本的spark,spark1.6.0也可以与hadoop2.6.0搭配使用。
2016-05-28 14:53:43 3281
原创 ValueError: Cannot run multiple SparkContexts at once; existing SparkContext ...
将代码写成如下形式:from pyspark import SparkContextsc.stop() #停止以前的SparkContext,要不然下面创建工作会失败sc=SparkContext('local','pyspark')'''your code'''sc.stop() #最好是再停止一下本次的
2016-05-28 11:34:04 3506
原创 python记录
>>> ss=[var if not var%2 else var+10 for var in range(1,10)]>>> ss[11, 2, 13, 4, 15, 6, 17, 8, 19]在上例中,if语句与前面的var相结合,不能没有else,如果没有的话,会出错(而且,就算改为else pass,或者else continue也会出错,因为if-else的这种特殊写法在这里必须
2016-05-26 20:46:26 395
原创 微信开发 python django 多客服接口发送到客户端的消息乱码
在用python django做服务器进行微信开发时,想通过多客服接口向指定的用户发消息,代码如下: url='https://api.weixin.qq.com/cgi-bin/message/custom/send?access_token='+str(access_token) #content=to_text(content) data={ "touser":openid,
2016-05-26 08:45:48 2235
原创 zookeeper java.net.ConnectException
一台物理机装ubuntu,里面建立两个ubuntu虚拟机,启动zkServer.sh start时成功,但是zkServer.sh status时显示 java.net.ConnectException。将三个机器的/etc/hosts里的“127.0.1.1 ”这一条去掉。
2016-05-15 15:19:36 521
原创 ubuntu虚拟机进不去界面
今天在玩ubuntu虚拟机时,重启后,发现原来能进的账户进不去界面了,而且密码也没有错。我改用root账户登录,然后用su命令切换到出问题的账户,发现用户目录下只有:Access-Your-Private-Data.desktop和README.txt,上面提示输入encryptfs-mount-private,然后输入密码。之后,就可以用原来的账户登录了。上一步输入的密码为:想一想,在最
2016-05-15 13:12:29 5363
原创 python编码问题:\ufeff8804转换为8804
>>> ss='\ufeff8804'>>> ss.encode('utf-8').decode('utf-8-sig')'8804'编码转换请参考:http://stackoverflow.com/questions/17912307/u-ufeff-in-python-string
2016-05-13 11:26:07 1684
原创 python re.findall 遇到的小问题
原始文件中数据格式如下:{ "subscribe": 1, "openid": "ozJBZuCmclX2DJssCnIYedo0qVzQ", "nickname": "宝玉
2016-05-10 20:44:44 1599
原创 python json json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes
>>> import json>>> test="{'data':'123'}">>> result=json.loads(test)Traceback (most recent call last): File "", line 1, in File "d:\Anaconda3\lib\json\__init__.py", line 319, in loads retur
2016-05-09 19:34:43 37022
原创 python2.7 中构造带u'的字符串
python中由字符串变量构造前面带u的字符串的方法:ss='test'sb=u''+str(ss)sb就是我们想要的前面带u的字符串
2016-05-09 18:53:14 3297 2
concurrent 摘自guava concurrent
2018-09-28
achartengine-1.1.0-0.jar
2017-10-30
《淘宝技术这十年》完整版 带批注.pdf
2017-10-16
Netty.in.Action.2015.12.pdf
2017-09-03
用sbt构造好的Intellij版的spark工程
2016-07-23
c语言百例 cpp文件
2012-01-05
javafx让小球从上次静止的位置开始运行?
2016-02-23
Python如何实现多线程与多进程的配合工作?
2015-06-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人