python
一旦9912
这个作者很懒,什么都没留下…
展开
-
关于使用anaconda出现CondaHTTPError问题的解决
C:\Users\username.condarcchannels: - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ - http://mirrors.tuna.tsinghua原创 2021-05-20 12:00:21 · 269 阅读 · 0 评论 -
pip安装各种包
前言pip(or conda)安装包时有各种问题使用国内代理当pip安装报错: `Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ProxyError('Cannot connect to proxykagglepip install kaggle -i http://pypi.douban.com/simple --trusted原创 2021-01-27 17:33:54 · 938 阅读 · 1 评论 -
代码规范工具 (formatting tool) BLACK 的使用
安装pip install black使用$ black {source_file_or_directory}特殊用法使用 # fmt:on/off 来标记不需要format的代码,fmt : on/off 的缩进必须相同原创 2021-01-19 20:03:03 · 544 阅读 · 1 评论 -
pandas & numpy 且用且记
前言一到实习就忍不住想写博客。第一次做Python后端开发,发现不会用pd和np的开发效率实在底下,在这里记录一下。老惯例,只写用过的函数和遇到的错误。pandas简介pandas主攻的是表格的处理,这里最主要的数据结构就是两个:Series 相当于1darraySeries有行标签(row labels),没有列标签(column labels)Dataframe 相当于2darrayA DataFrame is a 2-dimensional data structure that原创 2021-01-19 17:30:27 · 262 阅读 · 0 评论 -
Selenium 基本教程
前言开新坑,写一点Selenium原创 2021-01-19 14:54:52 · 134 阅读 · 0 评论 -
pycharm 远程调试 & vscode remote
前言本来只是想记录pycharm的,毕竟vscode remote是个人都会(并不不过为了充实一点还是都写上去~pycharm remote依次点击 Tools -> Deployment -> Configuration 得到上图界面,然后添加一个SFTP连接,填好信息后在mapping页添加映射。接着同样在 Tools->Deployment里选择Automatic Upload,之后本地有更改就会自动上传到服务器。若选择 Upload to xxx,则整个项目文件夹都会原创 2021-01-18 17:57:47 · 625 阅读 · 2 评论 -
scrapy爬虫实战
前言之前课内项目使用bs4和request来做爬虫,现在看起来有点愚蠢,之后开始使用scrapy。一个最小的示例安装scrapy$ pip install scrapy或者在pycharm中引入依赖会更好,pip似乎容易报无关错误。接着创建爬虫项目$ scrapy startproject kaggle然后创建你的爬虫$ cd kaggle$ scrapy genspider spider_name domain这下就生成了一个名为spider_name,并且限定在d原创 2021-01-16 23:03:09 · 1572 阅读 · 0 评论 -
python flask学习与使用
搭建一个基本flask进程安装虚拟环境python -m venv venv然后运行activate,进入虚拟环境;在虚拟环境里安装flask(venv) pip install flask编写基本的helloworld程序# main.pyfrom flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world(): return "hello world!"设置FLAS原创 2021-01-15 19:39:48 · 600 阅读 · 0 评论 -
用机器学习基本算法分类手机数据-朴素贝叶斯篇
1 算法思路2 代码实现原创 2020-10-31 09:31:38 · 360 阅读 · 0 评论 -
用机器学习基本算法分类手机数据-预处理篇
交大软院第一次开机器学习课,实在不知道老师在上什么,我就一边摸索着一边写博客记录一下。获取CSV数据从手机价格预测分类数据获取到CSV文件根据项目要求 进行8:1:1的train-valid-test分割。处理CSV处理csv的方法有很多,可以利用python的CSV库,不过最好使用主流的pandas来操作pandas预备知识DataframeSeriespd.read_csv文档官方文档-read_csv基本用法# filename指定csv文件名,sep是csv内原创 2020-10-27 22:55:00 · 738 阅读 · 1 评论 -
python bs4模块快速入门
学习爬虫,离不开数据解析和分析。python中的BeautifulSoup模块就是绝佳的html解析器,这里记录一下bs4的主要函数。安装安装bs4pip3 install beautifulsoup4安装lxml解析器pip3 install lxml安装lxml解析器可能会出xmlCheckVersion报错,这时候可以到网上下载对应的lxml.whl,用whl来安装即可。获得html首先从request库获得一个html页面,或者是本地的静态Html页面,用bs4去解析soup原创 2020-07-21 22:12:21 · 323 阅读 · 0 评论 -
python request 库相关
拉钩-爬虫知识点map()自动任务分配,依次执行url数组,方便多进程爬虫def scrape(url):try: urllib.request.urlopen(url) print(f'URL {url} Scraped')except (urllib.error.HTTPError, urllib.error.URLError): print(f'URL {url} not Scraped')if __name__ == '__main__':pool = Pool原创 2020-07-12 23:26:04 · 97 阅读 · 0 评论 -
python中 threading库的基本使用
简介threading模块中包含了关于线程操作的丰富功能,包括:常用线程函数,线程对象,锁对象,递归锁对象,事件对象,条件变量对象,信号量对象,定时器对象,栅栏对象。由于python中GIL(global interpreter lock)的存在,无法实现真正的并行(parallel)线程,只能实现并发(concurrent)线程。本文介绍threading库的基本方法,其余复杂方法等待用到时再来更新。创建线程第一种方法:调用threading.Threadimport threading#原创 2020-07-12 15:41:12 · 1054 阅读 · 0 评论 -
python 配置文件处理实战-json
注:以后决定把所有笔记都写在这里。本来觉得拿博客当笔记本太麻烦,现在想想我可以先每篇都开个坑,等用多了再慢慢更新,挺好的。1 简介json库是python内置的处理json文件的模块,可以很方便的处理和写入json(原来代码块可以指定语言呀,哈哈!)import json2 用法json.dump 与 json.dumpsjson.dump(dic,filestream) 把字典变成json格式且存入文件,传入打开的写文件流即可json.dumps(dic)只是把字典对象转换成了json原创 2020-07-11 11:33:56 · 321 阅读 · 0 评论 -
python os库基础实战演练
1:需求大作业的项目中,希望用户在前端每发送一次请求,后端接受请求后启动爬虫将数据爬到数据库中。2:os库简介之前在跟论文的时候就有简单使用,现在做一个系统的整理和学习。根据python3.8.1的官方文档,这是一个可以操作文件,执行命令行语句,与文件系统交互等等的强大内置库。3:os.pathabspath 返回绝对路径os.path.abspath(path)F:\Documentation\Courseware\ilfe 2020\iLife\code\backend\weibo原创 2020-07-10 21:03:44 · 170 阅读 · 0 评论