python
LYH_VIP
这个作者很懒,什么都没留下…
展开
-
python3 解码url
python3 解码url原创 2022-10-09 14:34:04 · 463 阅读 · 0 评论 -
Python 操作Mongodb 聚合前过滤筛选
有时候我们需要对数据进行聚合,聚合前需要对其进行过滤,操作其实还是很简单的,聚合直接使用 aggregate,直接上代码:counts = DockerMongo.IntelligentPublishKeywords.aggregate([{"$group": {"_id": "$Platform", "dataCount": {"$sum": 1}}}])for count in counts: print(count)其中_id是需要筛选的字段,dataCount是自定义的字段,$s原创 2021-11-19 10:08:43 · 1800 阅读 · 0 评论 -
flask vue后端返回字符串时乱码
如题,直接配置下就可以:在配置文件中:config.py加上如下代码:JSON_AS_ASCII=False或者直接给app配置:app.config['JSON_AS_ASCII'] = False原创 2020-12-07 20:07:11 · 278 阅读 · 1 评论 -
解决to_excel()循环插入,总是得到最后一个数据
使用to_excel()循环插入数据的时候,发现总是得到最后一条数据,此时我们可以使用如下办法:获取excel的行数,然后再其后面插入数据,代码如下:import pandas as pddataframe = pd.DataFrame(columns=('asin', 'title', 'price', 'seller', 'stars', 'reviews'))for i in range(1, 51): asin= '',title='',price='',seller=''原创 2020-12-05 15:01:23 · 1079 阅读 · 0 评论 -
解决to_csv循环追加数据不会覆盖前面的数据
当我们在使用到to_csv()方法的时候,循环追加数据会发现最后得到的数据是最后一条,原因是to_csv()方法mode默认为w,而 w 模式 会清空文件再重新写入新的数据,加上mode='a',便可以追加写入数据。a 模式 为追加写入数据就不会清空前面的数据,而是会在原文件的基础上增加新的数据dataframe.to_csv('best_sellers.csv', mode='a', index=True, sep=',')...原创 2020-12-05 14:36:43 · 9927 阅读 · 0 评论 -
使用split一行代码取字符串中某一串固定字符
记录下常用的取某一固定字符串方法:a='https://www.amazon.de/Ecovacs-Deebot-OZMO-920-Wischroboter/dp/B084ZR6HWN/ref=zg_bs_3597120031_5?_encoding=UTF8&psc=1&refRID=7XWME6NEEEE9V1ZG2EN3'asin=a.spilt('dp/')[1][:10]然后再将其赋值到表格的另一列:import pandas as pddata.loc[i,原创 2020-11-30 10:56:04 · 269 阅读 · 0 评论 -
pandas 如何创建空的DataFrame
最近需要用到空的DataFrame,代码如下import pandas as pddf = pd.DataFrame(columns=['col1','col2', 'col3', 'col4'])这样就创建了一个空DataFrame了,往其中插入数据的话,可以这样子df_row = df.shape[0]上面是获取行数,以便插入数据df.loc[df_row] = ['1','2','3','4']这样,就插入了一行数据,然后可以写入excel文件df.to_ex原创 2020-07-09 16:56:49 · 10399 阅读 · 0 评论 -
如何将csv文件转为xlsx文件
首先要pip pandas直接上代码import pandas as pdcsv = pd.read_csv('type_c.csv', encoding='utf-8')csv.to_excel('type_c.xlsx',sheet_name='data')这样就可以了,pandas真的强大原创 2020-06-24 14:57:22 · 1284 阅读 · 0 评论 -
scrapy 递归爬取如何传递参数,且解决循环yield时总是得到最后一个数据
我们写爬虫的时候经常会遇到比如一页有20个产品,但是还需要进入单个产品里面爬取更详细的信息,这里就涉及到如何传递参数才能匹配好各个产品的信息,这里就引出scrapy中 request的meta参数,该参数只接受字典形式meta={'k1':v1,'k2':v2}用法如下def parse(self, response): items = ScrapytestItem() ...原创 2020-04-18 09:37:15 · 1856 阅读 · 1 评论 -
python3 如何创建虚拟环境
python3 与版本2还是有差别的,py3的方法如下python -m venv test其中,test为虚拟环境的名称,创建完成后,就会在当前目录生成该虚拟环境了原创 2020-04-16 17:11:55 · 306 阅读 · 0 评论 -
pandas如何将筛选excel的数据到另一张新表
最近在写一个爬虫,然后将数据保存到excel,但是有些列的数据为空即没有爬到,需要再重新爬,所以将空的该行全部复制到另一张表import pandas as pddata_path = 'excel路径'data = pd.read_excel(data_path)data_new = data[data['groundingtime'] != data['groundingtime...原创 2020-04-16 09:55:00 · 4108 阅读 · 0 评论 -
selenium 切换进入 iframe
以下是代码进入:browser.switch_to.frame('keepa')其中‘keepa’是我项目中iframe的id记得需要退出iframe退出当前,返回上一级:browser.switch_to.default_content()...原创 2020-04-14 16:25:54 · 908 阅读 · 0 评论 -
python pandas 如何读写excel 获取表的行数 列数
首先需要用pip 安装pandas、xlrd、openpyxl,然后直接贴代码import pandas as pddata_path = 'E:/pythonProject/python_pandas/test_pandas.xlsx' //此处为excel表的路径data = pd.read_excel(data_path)data.loc[0,'ground_time']...原创 2020-04-14 15:21:48 · 26618 阅读 · 3 评论 -
python列表里面有字典,该怎么读取字典中的value?
如题,例子是Asin = [{'Asin': b2b}]取出其中的value,使用如下代码就可以了[item[key] for item in Asin for key in item] 发现以前写的太复杂了,快过去一年半了,更简单的方法如下:for item in Asin:print (item['Asin'])和下面评论的基本一样...原创 2017-10-17 14:20:45 · 60451 阅读 · 6 评论 -
如何加密python代码
最近帮别人写项目,需要加密代码,谷歌了一下,下面的方法基本可以满足一般的要求,不过很重要的代码还是需要想办法用其他更严格的加密,命令如下:python -m py_compile project.py其中project.py是你需要加密的文件...原创 2019-04-22 10:25:35 · 1552 阅读 · 6 评论