Python
文章平均质量分 80
杰之行
我不知道将去何方,但我已在路上。——宫崎骏《千与千寻》
展开
-
爬取CSDN专栏文章到本地,并保存为html、pdf、md格式
爬取CSDN专栏文章到本地,并保存为html、pdf、md格式原创 2022-02-10 17:59:04 · 10406 阅读 · 18 评论 -
MOOC·嵩天老师团队·北京理工大学:《Python语言程序设计》自学笔记
小编想使用python帮助自己在网上快速筛选文献、股票信息提取、写批处理脚本等,最近学习了股票信息提取,发现半年前学的基础知识已经忘完了,而且还没有笔记查询。本文就用MOOC北京理工大学:《Python语言程序设计》的课件,整理一下。课程导学学习python的基本要求:会使用计算机和Office软件阅读简单英文内容、3级及以上水平熟练使用Web浏览器每周至少1-2个小时,连续9周第1章 Python基本语法元素1.1 程序设计基本方法1.2 Python开发环境配置1.3 实例1:原创 2020-09-14 18:05:53 · 8451 阅读 · 3 评论 -
Python网络爬虫与信息提取(MOOC)——北理工笔记汇总
北京理工大学出品的Python网络爬虫与信息提取(MOOC)已经学习完一段时间了,现在把相关的整理出来,便于查看。WS00-网络爬虫课程内容导学WS01-Request库入门WS02-网络爬虫的盗亦有道WS03-Requests库网络爬取实战WS04-Beautiful Soup库入门WS05-信息标记与提取方法WS06-实例1-中国大学排名爬虫WS07-Re(正则表达式)库入门WS08-实例2-淘宝商品信息定向爬虫WS09-实例3-股票数据定向爬虫...原创 2020-09-11 10:18:54 · 537 阅读 · 0 评论 -
深度学习环境配置:Ubuntu20.04安装TensorFlow-cpu版,并在Jupyter notebook上使用
前言之前在windows下配置了:深度学习环境配置:Windows安装TensorFlow并在Jupyter notebook上使用这篇文章想试试ubuntu# 1. ubuntu20.04安装Anaconda3按照教程:ubuntu16.04安装和使用Anaconda3(详细)# 2. 安装TensorFlow创建虚拟环境tfconda create -n tf切换到虚拟环境tfconda activate tf 查看Python版本python -V原创 2022-01-31 14:28:50 · 2548 阅读 · 0 评论 -
深度学习环境配置:Windows安装TensorFlow并在Jupyter notebook上使用
深度学习环境配置:Windows安装TensorFlow并在Jupyter notebook上使用原创 2021-12-25 12:04:28 · 4135 阅读 · 0 评论 -
MySQL练习记录——利用Python的pymysql模块操作MySQL数据库
文章目录前言# 第一部分:数据库练习准备数据创建数据表插入数据SQL演练1. SQL语句的强化2. 创建"商品分类"表3. 同步表数据4. 创建“商品品牌表”表5. 同步数据6. 修改表结构7. 外键外键取消外键:其实在设计定义数据库的时候,就已经确定了要不要使用外键:比如下面的逻辑。8. 其实就是多创建一个表,然后从原来的表上使用外键进行关联:下面代码可以一次性复制粘贴进行联系# 第二部分:Python 操作 MySQL1. 初尝python与mysql交互2. pymysql查询数据库、面向对象3. p原创 2022-02-01 19:22:09 · 2746 阅读 · 0 评论 -
MySQL数据库的基本使用:
前言重新学习整理了下MYSQL。推荐资料:菜鸟:MySQL 教程MySQL笔记(pymysql)https://github.com/wmh02240/MySQL-Notes视频:pymysql的使用B站:python和mysql视频,有口音,但是讲得还可以。文章目录前言数据库简单介绍1. 关系型数据库管理系统的介绍2. SQL的介绍3.小结MySQL数据库1. Ubuntu下服务器端和客户端的MySQL的安装ubuntu服务端安装ubuntu下客户端安装2.window上安装MyS原创 2022-01-31 17:35:22 · 1428 阅读 · 0 评论 -
python爬虫记录
Python爬虫使用原创 2022-02-06 09:16:10 · 1537 阅读 · 0 评论 -
Pycharm与PyQt5联合使用配置
前言小编从c++ qt5入坑,再到PyQt5,发现这个pycharm与PyQt5的配置也比较复杂(相对于c++ qt5)这篇文章就记录下自己怎么配置成功的,万一以后需要用到,就可以直接查了。文中所用的软件版本PyCharm 2021.1.3 (Professional Edition),如果有出入,注意变通其他:网上现存的教程安装的都是pyqt5-tools,而且他们的软件界面也不一样。配置目录如下所示,会配置3个:QTdesigner :方便首次新建一个不存在的.ui文件PyUIC:原创 2021-07-05 16:28:43 · 758 阅读 · 0 评论 -
python虚拟环境
前言希望您通过本文能熟悉一下python虚拟环境本文内容参考撩课-Python大数据+人工智能3中的虚拟环境参考文章最全的Python虚拟环境使用方法1. virtualenv1.1 使用pip安装virtualenvpip install virtualenv1.2 创建虚拟环境virtualenv [虚拟环境名称] virtualenv venv#如果不想使用系统的包,加上–no-site-packeages参数virtualenv --no-site-packages原创 2021-07-04 23:30:49 · 384 阅读 · 0 评论 -
Python之Excel处理
前言不知道大家的朋友圈有没有被python自动化办公刷屏,那就了解一下,我们经常需要 导入数据到Excel、从Excel导出数据、对Excel中的数据进行处理。如果 要处理的数据量很大,人工操作非常费时间。我们可以通过Python程序,自动化Excel的数据处理,帮我们节省大量的时间。读取Excel中的数据xlrd 库—— 读取 Excel文件里面的数据安装xlrd库命令如下:pip install xlrd点击这里,下载 Excel文件 income.xlsx如果人工处理Excel原创 2020-09-13 10:32:05 · 331 阅读 · 0 评论 -
如何用Python爬取股市数据,并进行数据可视化
如何用Python爬取股市数据,并进行数据可视化项目名称:完全零基础用 Python玩转股市(爬虫和数据分析可视化)开发工具:win10+ pycharm知识点:爬虫基本尿理与实现数据清洗数据可视化模块的使用<Response [200]>jQuery183007533213360607016_1599750291500^({"rc":0,"rt":6,"svr":182481190,"lt":1,"full":1,"data":{"total":4279,"diff":[{"f原创 2020-09-11 10:08:06 · 4185 阅读 · 2 评论 -
WS09-实例3-股票数据定向爬虫
#CrawBaiduStocksA.pyimport requestsfrom bs4 import BeautifulSoupimport tracebackimport re def getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding return r.text exc原创 2020-08-26 22:36:15 · 540 阅读 · 0 评论 -
WS08-实例2-淘宝商品信息定向爬虫
#CrowTaobaoPrice.pyimport requestsimport re def getHTMLText(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" def par原创 2020-08-26 22:14:33 · 345 阅读 · 0 评论 -
WS07-Re(正则表达式)库入门
正则表达式的概念正则表达式regular expression,regex,re正则表达式是用来简洁表达一组字符串的表达式正则表达式是一种通用的字符串表达框架正则表达式是一种针对字符串表达“简洁”和“特征”思想的工具正则表达式可以用来判断某字符串的特征归属__ 正则表达式在文本处理中十分常用__:最主要应用在字符串匹配中表达文本类型的特征(病毒、入侵等)同时查找或替换一组字符串匹配字符串的全部或部分使用正则表达式的优势是什么?简洁、一行胜千言 、一行原创 2020-08-26 21:54:58 · 384 阅读 · 0 评论 -
WS06-实例1-中国大学排名爬虫
“中国大学排名定向爬虫”实例介绍http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html功能描述输入:大学排名URL链接输出:大学排名信息的屏幕输出(排名,大学名称,总分)技术路线:requests‐bs4定向爬虫:仅对输入URL进行爬取,不扩展爬取定向爬虫可行性http://www.zuihaodaxue.cn/robots.txt程序的结构设计步骤1:从网络上获取大学排名网页内容步骤2:提取网页内容中信息到合适的数据结构步骤3:原创 2020-08-26 17:36:47 · 434 阅读 · 0 评论 -
WS05-信息标记与提取方法
信息标记的三种形式信息的标记标记后的信息可形成信息组织结构,增加了信息维度标记的结构与信息一样具有重要价值标记后的信息可用于通信、存储或展示标记后的信息更利于程序理解和运用HTML的信息标记<html> <head> <title> This is a python demo page </title> </head> <body> <p class="title"> <原创 2020-08-26 20:15:53 · 268 阅读 · 0 评论 -
WS04-Beautiful Soup库入门
Beautiful Soup库的安装pip install beautifulsoup4Beautiful Soup库的安装小测https://python123.io/ws/demo.html>>> import requests>>> r = requests.get("https://python123.io/ws/demo.html")>>> r.text'<html><head><title>T原创 2020-08-26 15:05:16 · 331 阅读 · 0 评论 -
WS03-Requests库网络爬取实战
实例1:京东商品页面的爬取讲义中的:https://item.jd.com/2967929.html这使用的:https://item.jd.com/46106440551.html爬取时需要登录吗?>>> import requests>>> r = requests.get("https://item.jd.com/46106440551.html")>>> r.status_code200>>> r.encodin原创 2020-08-26 10:11:33 · 530 阅读 · 0 评论 -
WS02-网络爬虫的盗亦有道
网络爬虫引发的问题网络爬虫的尺寸小规模,数据量小爬取速度不敏感Requests库中规模,数据规模较大爬取速度敏感Scrapy库大规模,搜索引擎爬取速度关键定制开发爬取网页玩转网页爬取网站 爬取系列网站爬取全网网络爬虫的“性能骚扰”Web服务器默认接收人类访问受限于编写水平和目的,网络爬虫将会为Web服务器带来巨大的资源开销网络爬虫的法律风险服务器上的数据有产权归属网络爬虫获取数据后牟利将带来法律风险网络爬虫的隐私泄露网络爬虫可能具备突破简单访问控制的能力,获原创 2020-08-26 08:55:03 · 306 阅读 · 0 评论 -
WS01-Request库入门
Request库的安装pip install requests原创 2020-08-26 08:16:03 · 884 阅读 · 0 评论 -
WS00-网络爬虫课程内容导学
#前言The Website is The API …##Requests自动爬取HTML页面自动网络请求提示##robots.txt网络爬虫排除标准##Beautiful Soup解析HTML页面##Re正则表达式详解提取页面关键信息##projects实战项目A/B##Scrapy*网络爬虫原理介绍专业爬虫框架介绍...原创 2020-08-25 20:43:18 · 327 阅读 · 0 评论