- 博客(43)
- 收藏
- 关注
RSS订阅转载 配置MySQL服务器使得外网可以连接
https://blog.csdn.net/bird3014/article/details/78481104转载于:https://www.cnblogs.com/lilinpging/p/11088694.html
2019-06-26 11:04:00
230
转载 爬虫获取网页数据，报错：UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start by...
https://blog.csdn.net/hj_xy_0705/article/details/85011072转载于:https://www.cnblogs.com/lilinpging/p/11046196.html
2019-06-18 16:57:00
512
转载 Hive压缩格式
https://www.cnblogs.com/skyl/p/4740301.html转载于:https://www.cnblogs.com/lilinpging/p/11022418.html
2019-06-14 11:23:00
205
转载 关于ftp无法链接的情况
首先查看ftp是否安装systemctl status vsftpd如果没有先安装yum install vsftpd然后启动systemctl start vsftpd如果有报错Job for vsftpd.service failed because the control process exited with error code. See "syst...
2019-06-03 09:26:00
237
转载 Elasticsearch中数据是如何存储的
https://elasticsearch.cn/article/6178转载于:https://www.cnblogs.com/lilinpging/p/10614362.html
2019-03-28 13:31:00
294
转载 elasticsearch-mapping字段重要属性
https://blog.csdn.net/gongpulin/article/details/78705205转载于:https://www.cnblogs.com/lilinpging/p/10567947.html
2019-03-20 21:43:00
125
转载 Docker 简单部署 ElasticSearch
https://www.cnblogs.com/jianxuanbing/p/9410800.html转载于:https://www.cnblogs.com/lilinpging/p/10562979.html
2019-03-20 09:48:00
120
转载 数据挖掘领域十大经典算法之—SVM算法（超详细附代码）
https://blog.csdn.net/fuqiuai/article/details/79483057转载于:https://www.cnblogs.com/lilinpging/p/10540591.html
2019-03-16 08:35:00
223
转载 MAC终端神器iterm2——告别黑白
https://www.cnblogs.com/soyxiaobi/p/9695931.html转载于:https://www.cnblogs.com/lilinpging/p/10487951.html
2019-03-07 10:28:00
134
转载 大数据问题集锦
https://note.youdao.com/share/?id=17feeb70fa75cf45700ee81ae3e12c1d&type=notebook#/转载于:https://www.cnblogs.com/lilinpging/p/10176923.html
2018-12-25 22:59:00
136
转载 最全PyCharm 教程
https://www.jianshu.com/p/2bfc19e1381c转载于:https://www.cnblogs.com/lilinpging/p/10176910.html
2018-12-25 22:53:00
123
转载 移动namenode、secondarynamenode和jobTracker的节点（使其成为独立节点）
https://blog.csdn.net/zwx19921215/article/details/22528097转载于:https://www.cnblogs.com/lilinpging/p/10171036.html
2018-12-24 21:17:00
148
转载 idea本地调试spark，hive，kafka
https://note.youdao.com/share/?id=753c443aa4a665679d8d00c9c50363b0&type=note#/转载于:https://www.cnblogs.com/lilinpging/p/10134059.html
2018-12-17 21:30:00
156
转载 Intellij IDEA 远程链接hive，执行hsql
https://note.youdao.com/share/?id=75d82d9c5fab1e00de41c504a54dfcde&type=note#/转载于:https://www.cnblogs.com/lilinpging/p/10134052.html
2018-12-17 21:29:00
938
转载 hadoop MR的一些文件归属（包括临时文件存储情况）
https://blog.csdn.net/bxyz1203/article/details/8057810转载于:https://www.cnblogs.com/lilinpging/p/10134045.html
2018-12-17 21:28:00
200
转载 大数据常见端口配置
https://note.youdao.com/share/?id=6e4fdf200ba01bfda454ccf323ab5ef6&type=note#/转载于:https://www.cnblogs.com/lilinpging/p/10134035.html
2018-12-17 21:26:00
126
转载 Hadoop Streaming 使用及参数设置
http://www.cnblogs.com/hopelee/p/7476145.htmlhttps://blog.csdn.net/djy37010/article/details/55051031转载于:https://www.cnblogs.com/lilinpging/p/10133748.html
2018-12-17 20:36:00
276
转载 Python将list中的string批量转化成int/float
data = ['1','3.2','2'] data = map(eval, data) print data 输出：[1, 3.2, 2]但是在Python3下我们输入：ls=[1,2,3]rs=map(str,ls)print(rs)显示的却是：<map at 0x3fed1d0>而不是我...
2018-03-19 13:36:00
1856
转载 Unicode编码问题 如:\u529e\u7406\u9996\u6c7d\u52a0\u6cb9
python 遇到\u529e\u7406\u9996\u6c7d\u52a0\u6cb9解决方法：a = "\u529e\u7406\u9996\u6c7d\u52a0"b = a.decode("unicode-escape")print(b)转载于:https://www.cnblogs.com/lilinpging/p/8440533.htm...
2018-02-11 09:55:00
2819
转载 Windows下Python安装numpy+mkl，Scipy和statsmodels
最近做时间序列分析需要用到Python中的statsmodels，但是安装过程中遇到很头疼的问题，Google、Stackover各种都没有找到合适的解决办法，而且貌似还有很多同学也在吐槽Windows下Python安装Scipy一团糟，所以有必要分享一下，帮助大家避开此坑。一般来说，在Python中进行科学计算，numpy和pandas是必不可少的，pandas也依赖于num...
2018-01-26 11:20:00
192
转载 关于decode("utf-8")出现编码错的提示
data = data.decode("utf-8")出现错误时候可以加上第二个参数 如下;data = data.decode("utf-8","ignore")忽略错误提示转载于:https://www.cnblogs.com/lilinpging/p/8358141.html...
2018-01-26 09:42:00
1029
转载 关于 使用python向qq好友发送消息(对爬虫的作用----当程序执行完毕或者报错无限给自己qq发送消息，直到关闭)...
以前看到网上一些小程序，在处理完事物后会自动发送qq消息，但是一直搞不懂是说明原理。也在网上找过一些python登陆qq发送消息的文字，但是都太复杂了。今天偶然看到一篇文章，是用python调用win32的接口发送qq消息的，觉得不错，就先记录下来，日后肯定会用得上这些小工具。发送qq消息要求已经登陆qq，而且qq的窗口是独立的，现在新版的qq一般都是将所有的聊天窗口聚合在一起，因此...
2018-01-17 18:40:00
765
转载 关于爬虫的制定
即使是很小的网站，也要考虑周全，不能太过于简单粗暴的爬取。可能这次顺利爬取，等到第二次更新数据的时候，别人设置了反扒策略，自己就傻眼了狮子搏兔，亦用全力。转载于:https://www.cnblogs.com/lilinpging/p/8302471.html...
2018-01-17 13:55:00
115
转载 关于scrapy 使用代理相关问题
在scrapy中使用代理时，我们不能保证每个代理都可用，难免出现代理ip错误的情况，如果代理ip出现错误设置一个请求超时和重新发送这个链接在yield scrapy.Request时候加上一个参数：meta={'download_timeout': 10}代表请求超时为10秒然后在settings中设置如下：RETRY_ENABLED = TrueRE...
2018-01-16 19:12:00
121
转载 scrapy 关于特殊字符的处理
今天scrapy 发送一段url的时候，如下http://apis.map.qq.com/lbscloud/v1/poi/search?poi_table=gas_station&key=RGGBZ-CPSHD-QG54O-P53UE-3AIV5-HIFNS&page_size=10&page_index=2&orderby=distance(39...
2018-01-16 14:08:00
637
转载 scrapy - Request 中的回调函数不执行
在 scrapy 中，scrapy.Request(url, headers=self.header, callback=self.parse)调试的时候，发现回调函数parse_detail没有被调用，这可能就是被过滤掉了，查看 scrapy 的输出日志offsite/filtered会显示过滤的数目。这个问题如何解决呢，查看手册发现(https://doc.s...
2018-01-13 12:24:00
342
转载 关于数据去重
在Navicat中选定表，1.右键打开-->设计表,2.名（自定义），栏位（就是通过什么字段去重），索引类型（unique），索引方法（随意）转载于:https://www.cnblogs.com/lilinpging/p/8243006.html...
2018-01-08 15:38:00
143
转载 零基础掌握百度地图兴趣点获取POI爬虫（python语言爬取）（进阶篇）
好，现在进入进阶篇教程。1.获取昆明市的bounds值看到下面这个东西了吧？在文本框里写入昆明市，或者其他的行政区划地名，北京市、朝阳区、大河沟子村什么的。这也是通过调用百度地图开放平台API实现的。实现起来很简单，把下面这段代码复制到一个txt文件中，然后把txt文件的拓展名改成html，用浏览器打开，就可以查询行政区划的范围了。<!DOCTYPE htm...
2018-01-05 10:43:00
221
转载 零基础掌握百度地图兴趣点获取POI爬虫（python语言爬取）（代码篇）
好，现在进入高阶代码篇。目的：爬取昆明市中学的兴趣点POI。关键词：中学已有ak：9s5GSYZsWbMaFU8Ps2V2VWvDlDlqGaaO昆明市坐标范围：左下角：24.390894，102.174112右上角：26.548645，103.678942URL模板：http://api.map.baidu.com/place/v2/search?query=中学&a...
2018-01-04 15:27:00
152
转载 零基础掌握百度地图兴趣点获取POI爬虫（python语言爬取）（基础篇）
实现目的：爬取昆明市范围内的全部中学数据，包括名称、坐标。先进入基础篇，本篇主要讲原理方面，并实现步骤分解，为python代码编写打基础。因为是0基础开始，所以讲得会比较详细。如实现目的所讲，爬取昆明市全部中学数据，就是获取百度地图上昆明市范围内所有关键字带中学的地理信息数据（兴趣点）。怎么把百度地图上的数据抓取下来呢？以下是教程：本篇目录如下：1. 百度地图开放平台注册...
2018-01-04 14:46:00
340
转载 sql优化
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中num列没有null值，然后这样查询： ...
2017-12-05 19:56:00
495
转载 读取文件打印指定图形文字
AA $A A $AAAA $A A $A A $BBBB $B B $BBBB $B B $BBBB $ CCC $C $C $C $ CCC $DDD $D D $D D $D D $DDD $...
2017-12-04 18:48:00
89
转载 pycharm断点调试django
1、打开你的工程，在菜单栏里找到Run-->Edit Configurations2、在打开的对话框里边选择Python，点击"+"号3.选择python4、出现了一个新的项Unnamed，你可以把它改名叫debug，好听一点5、脚本选择你网站的manage.py，脚本参数用runserver，跟你平常用命令行是一样的，聪明的同学应该已经发现了，也可...
2017-11-25 11:58:00
206
转载 深刻理解Python中的元类(metaclass)以及元类实现单例模式
在理解元类之前，你需要先掌握Python中的类。Python中类的概念借鉴于Smalltalk，这显得有些奇特。在大多数编程语言中，类就是一组用来描述如何生成一个对象的代码段。在Python中这一点仍然成立：class ObjectCreator(object): passmy_object = ObjectCreator()print my_object...
2017-11-24 11:09:00
85
转载 关于python hashlib模块的使用
hashlibhashlib主要提供字符加密功能，将md5和sha模块整合到了一起，支持md5,sha1, sha224, sha256, sha384, sha512等算法#!/usr/bin/env python# -*- coding: UTF-8 -*-#pyversion:python3.5#owner:fuzjimport hash...
2017-11-17 20:24:00
139
转载 当模版引擎遇到点(".")，会按照下列顺序查询：
字典查询，例如：foo["bar"]属性或方法查询，例如：foo.bar数字索引查询，例如：foo[bar]转载于:https://www.cnblogs.com/lilinpging/p/7852482.html
2017-11-17 17:06:00
104
转载 Python 读写文件 中文乱码 错误TypeError: write() argument must be str, not bytes+
今天写上传文件代码，如下def uploadHandle(request): pic1=request.FILES['pic1'] picName=os.path.join(settings.MEDIA_ROOT,pic1.name) with open(picName,'w') as pic: for c in pic1.chun...
2017-11-10 13:48:00
196
转载 django过滤器，日期格式化
过滤器相关：一、形式：小写{{name|lower}}二、串联：先转义文本到HTML，再转换每行到标签{{my_text|escape|linebreaks}}三、过滤器的参数显示前30个字{{bio|truncatewords:"30"}}格式化{{pub_date|date:"Fj,Y"}}过滤器列表{{123|add:"...
2017-11-08 20:29:00
123
转载 django使用session缓存Redis
首先安装redis包pip install django-redis-sessions然后在settings中设置SESSION_ENGINE = 'redis_sessions.session'SESSION_REDIS_HOST = 'localhost'SESSION_REDIS_PORT = 6379SESSION_REDIS_DB = 0SESSIO...
2017-11-08 17:01:00
101
转载 python&django 常见问题及解决方法
0.python-dev安装（ubuntu）apt-getinstall python-dev1.Open(filename,mode)报错实例：f = open('d:\Users\168935495Request.xml','r')错误信息"SyntaxError: (unicode error) 'unicodeescape' codec can't de...
2017-11-08 15:06:00
637
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人