- 博客(30)
- 收藏
- 关注
原创 【完整版】2019h1深圳二手楼市热度如何?(数据爬取、分析&建模)
2019上半年深圳二手楼市热度如何?(链家数据爬取&分析)文章目录2019上半年深圳二手楼市热度如何?(链家数据爬取&分析)
2019-10-26 16:36:25
1916
1
原创 公众号“企鹅爸爸”内容爬取&简析
公众号“企鹅爸爸”内容爬取&简析目录公众号“企鹅爸爸”内容爬取&简析1.前言2.“企鹅爸爸”商城商品销售情况爬取及简析3.“企鹅爸爸”公众号最近50篇文章评论数等信息爬取及简析4.总结1.前言本篇主要围绕爬取和简析“企鹅爸爸”公众号中商城和历史文章的部分内容。(报告中爬取部分的代码以及采集到的具体数据有所省略)“企鹅爸爸”商城销售量信息较易爬取。共采集了有销售量的商品总数...
2019-09-24 19:49:49
376
原创 2019上半年深圳二手楼市热度如何?(链家数据爬取&分析)
文章目录1.多进程爬取2w+深圳已成交二手房数据2.数据清洗与初探2.1、数据清洗2.2、数据初探3.分析深圳2019上半年二手楼市:3.1、2019上半年深圳二手房成交情况总览:3.2、对比2018/2019上半年楼市,其热度有什么变化?3.3、对比2018/2019上半年楼市,加价/减价成交情况有何变化?3.4、2019上半年哪类房子比较好卖?(成交数量多)3.5、其他4.总结1.多进程爬取...
2019-08-30 01:53:40
1645
原创 pandas.read_csv()读取csv文件,默认第一列为index(索引)的解决办法
示例:df = pd.read_csv(fpath)直接读取会使文件中第一列数据默认为df的index,使列名和列数据发生错位。可以添加以下参数:index_col: int or sequence or False, default None修改为如下代码即可使index设为默认从0开始:df = pd.read_csv(fpath,index_col=False )...
2019-06-30 21:34:06
49139
2
转载 Python 如何将字符串转为字典(转载)
http://funhacks.net/2016/04/24/python_%E5%B0%86%E5%AD%97%E7%AC%A6%E4%B8%B2%E8%BD%AC%E4%B8%BA%E5%AD%97%E5%85%B8/引言在工作中遇到一个小问题,需要将一个python的字符串转为字典,比如字符串: 1 user_inf...
2019-06-25 01:41:43
5814
1
转载 【Pandas】返回 视图 还是 副本?SettingwithCopyWarning 的原理和解决方案(摘录转载)
摘录1:https://www.jianshu.com/p/c8398e508fb1当给一个pandas 对象赋值时, 一定要小心, 避免使用Chained Indexing进行赋值, 而应该使用.loc[:,'column']方式赋值.import pandas as pdimport numpy as np索引方式我们先用 Chained Index 和 loc I...
2019-06-22 21:00:00
2702
3
原创 ConnectionError,SSLError,InsecureRequestWarning等问题解决方案(部分转载)
笔者在anaconda python 环境下,用spyder编写的程序,在爬取链家二手房源信息时遇到类似以下问题:ConnectionError: HTTPSConnectionPool(host='dg.lianjia.com', port=443): Max retries exceeded with url: /ershoufang/105102021037.html (Caused ...
2019-05-13 02:51:33
924
转载 python爬数据处理\ufeff、\xa0、\u3000的方法 (转载)
https://blog.csdn.net/weixin_34246551/article/details/86024330今天使用python处理一个txt文件的时候,遇到几个特殊字符:\ufeff、\xa0、\u3000,记录一下处理方法代码:with open(file_path, mode='r') as f:s = f.read()1.\ufeff 字节顺序标记去掉\...
2019-05-11 15:43:15
938
转载 BeautifulSoup库函数find_all() (转载)
https://www.cnblogs.com/nyist-xsk/p/7609968.html一、语法介绍find_all( name , attrs , recursive , string , **kwargs ) find_all() 方法搜索当前tag的所有tag子节点,并判断是否符合过滤器的条件二、参数及用法介绍1、name参数这是最简单而直接的一种办法了,我...
2019-05-10 22:46:43
990
原创 win10在安装anaconda3后,双击打开任意py文件都会闪退的问题解决过程
1.安装anaconda前已安装好python3.7.3 32bit,原本写好的py文件可直接打开并运行。2.在安装anaconda3 201903 64bit后,双击任意py文件直接运行都会闪退 ,但在解释器中则可以正常运作。安装anaconda3时,没有选择“将anaconda的路径写入环境变量”(安装不推荐);选择或不选择“注册anaconda的python为默认”(安装推荐...
2019-05-09 22:09:07
4298
转载 用pip批量安装所需python库的方法(转载)
https://blog.csdn.net/mp624183768/article/details/79275941pip install -r requirements.txt这个text需要下载的东西requestslxmlfire
2019-05-09 18:32:32
2573
转载 'NoneType' object has no attribute 'decode'异常怎么解决?(转载)
https://www.zhihu.com/question/65438974把repo_dict['description']转为str形式就好了
2019-05-04 21:56:14
1107
原创 python 写入网页文件乱码问题、UTF-8和UTF-8-sig的区别、什么是BOM(Byte Order Mark)
出现乱码的源代码:with open('收盘价Dashboard.html','w',encoding='utf-8') as html_file: html_file.write('<html><head><title>收盘价Dashboard</title><metacharset="utf-8"></head&g...
2019-05-03 23:47:13
2222
原创 迭代器相关问题示例:只能往后取值,不可回退
def draw_line(x_data,y_data,title,y_legend):xy_map = []for x,y in groupby(sorted(zip(x_data,y_data)),key=lambda _: _[0]):# a = list(y) (此条代码会使下一条代码y_list=[],原因是迭代器只能往后取值,不可回退)y_list = [v for ...
2019-05-03 20:56:01
629
1
原创 python sorted(data, key=lambda _:_[0]) 排序解释
>>>data = ([1, 4, 3], [3, 2, 5], [5, 1, 2], [4, 3, 1], [2, 5, 3])>>>sorted(data, key=lambda _: _[0])[[1, 4, 3], [2, 5, 3], [3, 2, 5], [4, 3, 1], [5, 1, 2]]>>>sorted(data...
2019-05-03 17:23:04
3586
1
原创 python中zip()、*zip()和zip(*)的用法与区别
zip(*iterables)创建一个聚合了来自每个可迭代对象中的元素的迭代器。返回一个元组的迭代器,其中的第i个元组包含来自每个参数序列或可迭代对象的第i个元素。 当所输入可迭代对象中最短的一个被耗尽时,迭代器将停止迭代。 当只有一个可迭代对象参数时,它将返回一个单元组的迭代器。 不带参数时,它将返回一个空迭代器。示例:m = [[1, 2, 3], [4, 5...
2019-05-03 16:52:11
15658
转载 【sys.exit()在VSCode报错解释】python之 sys.exit() os._exit() exit() quit()的简单使用(转载)
https://www.cnblogs.com/weiman3389/p/6047062.html1》sys.exit()>>> import sys>>> help(sys.exit) Help on built-in function exit in module sys: exit(...) exit([status]) ...
2019-04-25 02:19:40
2250
1
原创 VSCode中出现Module 'pygame' has no 'init' member错误的解决方法
在VSCode设置中找到settings.json,如下图:加入如下代码保存并关闭json文件:“python.linting.pylintArgs”: [ “----extension-pkg-whitelist=1xml” ]对应问题就会忽略掉不再出现。...
2019-04-23 18:01:24
5976
3
原创 廖雪峰_StringIO和BytesIO_stream position问题详解搜集
from io import StringIO;f = StringIO();f.write('Hello World');s = f.readline();print s;上面这种方法无论如何都读不出f的内容,使用readlines和循环也不行解析:当使用StringIO()去初始化的时候,其指针是指向0的位置;而如果是用write的方法的时候,其指针则是会移动到后面的。举例...
2019-03-15 17:13:10
429
转载 廖雪峰_使用@property 详解(转载)
https://blog.csdn.net/weixin_41656968/article/details/80286238
2019-03-12 17:39:36
273
转载 廖雪峰_使用模块 if __name__ == '__main__' 解释(转载)
"if __name__ == '__main__': " 实现的功能就是Make a script both importable and executable关于代码if __name__ == '__main__':` 可能看了之后可能挺晕的,下面举几个例子解释下,希望能让大家对这行的代码的功能有更深的认识,还是那句话,欢迎大家指正定会虚心接受。先编写一个测试模块atestmodule....
2019-03-11 11:54:29
258
原创 廖雪峰_返回函数_闭包例子fs.append(f)、练习及意义详解
廖雪峰_返回函数_闭包 示例:注意到返回的函数在其定义内部引用了局部变量args,所以,当一个函数返回了一个函数后,其内部的局部变量还被新函数引用,所以,闭包用起来简单,实现起来可不容易。另一个需要注意的问题是,返回的函数并没有立刻执行,而是直到调用了f()才执行。我们来看一个例子: def count(): fs = [] for i in range...
2019-03-07 18:59:22
1154
原创 请用sorted()对列表分别排序:
假设我们用一组tuple表示学生名字和成绩:L = [(‘Bob’, 75), (‘Adam’, 92), (‘Bart’, 66), (‘Lisa’, 88)]请用sorted()对上述列表分别按名字排序:# -*- coding: utf-8 -*-L = [('Bob', 75), ('Adam', 92), ('Bart', 66), ('Lisa', 88)]def by_...
2019-03-07 16:03:00
418
原创 回数是指从左向右读和从右向左读都是一样的数,例如12321,909。请利用filter()筛选出回数
方法一:# -*- coding: utf-8 -*-def is_palindrome(n): for x,y in zip(str(n),str(n)[::-1]): if x==y: a=True else: a=False break return a# 测试:...
2019-03-06 18:05:20
1194
原创 利用map和reduce编写一个str2float函数,把字符串'123.456'转换成浮点数123.456
# -*- coding: utf-8 -*-from functools import reducedef str2float(s): DIGITS = {'0': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, '9': 9} def str2num(s): ret...
2019-03-01 19:28:45
1010
原创 杨辉三角生成与检查 python练习
练习杨辉三角定义如下: 1 / \ 1 1 / \ / \ 1 2 1 / \ / \ / \ 1 3 3 1 / \ / \ / \ / \ 1 4 6 4 1 / \ / \ / \ / \ / \1 5 10 10 5 1...
2019-02-25 20:49:24
252
转载 如何理解汉诺塔的递归?(摘录转载)
如何理解汉诺塔的递归? - 知乎https://www.zhihu.com/question/24385418写成py代码就是def move(n,from,buffer,to):if n==1:print(‘Move’,n,‘from’,from,‘to’,to)else:move(n-1,from,to,buffer)move(1,from,buffer,to)move(n-1...
2019-02-22 16:48:04
166
转载 尾递归为啥能优化?及优化方法(转载摘录)
尾递归为啥能优化? - brambles的文章 - 知乎https://zhuanlan.zhihu.com/p/36587160尾递归:若函数在尾位置调用自身(或是一个尾调用本身的其他函数等等),则称这种情况为尾递归。尾递归也是递归的一种特殊情形。尾递归是一种特殊的尾调用,即在尾部直接调用自身的递归函数。对尾递归的优化也是关注尾调用的主要原因。尾调用不一定是递归调用,但是尾递归特别有用,也...
2019-02-22 15:23:10
403
原创 以下函数允许计算两个数的乘积,请稍加改造,变成可接收一个或多个数并计算乘积(注意通过异常处理)
def product(*args): #函数中*args默认为(),调用时若未输入参数即输入()时无法通过最后的异常处理测试。 s=1 for x in args: s=s*x; return s# -*- coding: utf-8 -*-# 正确算法def product(n1,*args): s=1 ...
2019-02-21 22:15:04
5196
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人