- 博客(33)
- 问答 (2)
- 收藏
- 关注
原创 requests、BeautifulSoup结合pandas.DataFrame将爬取到的多页数据保存到Excel表
# 将抓取的数据分为不同的类别,将单个数据转换为2D列表以在数据pandas数据帧中使用的方法。from bs4 import BeautifulSoupimport csvimport reimport pandas as pdimport requestsfrom time import sleepfrom tqdm import tqdm # 显示进度条url = "https://www.kpaa.or.kr/kpaa/eng/list.do?"headers = {
2021-01-18 15:17:33 1123
原创 在Python中执行类似Excel的“ vlookup”方法
df1 =|---------------------|------------------|------------------|ID_MachineEvent_DurationTimestamp134213---------------------------------------------------------197572---------------------------------------------------------
2020-12-18 14:57:11 446
原创 如何用python判断列表中是否包含多个字符串中的一个或多个?
Links = ['Tom is a boy', 'Lucy is a girl', 'Tom is a boy,Lucy is a girl', 'they all like english!']keywords= 'Tom,Lucy'result = ['1' if any([w in l and w for w in keywords.split(',')]) else '0' for l in Links ]result['1', '1', '1', '0']
2020-12-12 23:17:32 4124 1
原创 Github 高级搜索技巧
相信看完这篇文章,你就可以学会如何精准地在GitHub搜索项目。开源项目的组成部分在讲清楚之前呢,我们先来了解一下一个开源项目有哪些组成部分:name: 项目名description: 项目的简要描述项目的源码README.md: 项目的详细情况的介绍那么除了这些要素之外,项目本身的star数和fork数,也是评判一个开源项目是否火热的标准,这同时也是一个很重要的搜索标准。另外我们也...
2020-03-10 09:21:50 455
原创 Window10 CPU环境下安装和测试TensorFlow 2
一.安装TensorFlow 2:1.需要最新的pippip install --upgrade pip2.安装TensorFlow和tf-nightly:pip install tensorflowpip install tf-nightly如果测试出现以下错误:ImportError: Could not find ‘nvcuda.dll’.以上问题源自GPU配置,需要用到...
2020-03-04 16:49:43 600
原创 Python3使用pyecharts在地图上绘制航线
from pyecharts import options as optsfrom pyecharts.charts import Geofrom pyecharts.globals import ChartType, SymbolTypeimport osos.chdir(r'.\Module\pyecharts') # 创建工作路径symbol_dict = { ...
2020-03-04 09:16:26 4739 1
原创 Windows10 安装、运行Atom、Python、GitHub的使用教程
一、下载Atom1.官网:Atom官网2.打开这个网页,可以看到Atom针对于64位操作系统Windows7或以上的版本二、Atom安装Python相关组件1.检查Python库支持(1)Settings里先查看一下是否有Python支持,博主这里因为安装了Python库所以显示Disable2.安装Python的适合Atom的IDE、UI、Server和运行工具(1)打开cmd...
2020-02-29 00:08:35 782
原创 windows10删除文件时遇到“拒绝访问”的解决方法
通过修改文件的所属对象的方式,删除成功。具体操作如下:1)打开删除的文件夹, 属性, 安全, 高级点击:修改在对象名称:Everyone ,点击“检查名称”, 确定,及选择符合的对象名称:Everyone。操作如下图所示: 这样,everyone 就获得了【该文件夹】的“System”超级权限就可以直接删除了。...
2020-02-27 10:39:09 13887 3
原创 Python3将CSV文件的行列进行转换
详细代码和解析如下:import pandas as pddf = pd.read_csv(r".\Data-Structures-and-Algorithms\built-in functions\weather.csv")data = df.values # data是数组,直接从文件读出来的数据格式是数组index1 = list(df.keys()) # 获取原有csv文件的...
2020-02-25 23:14:40 5793 3
原创 python 3.8 下安装 tensorflow 1.14
由于tensorflow2.0目前只支持在python3.7平台下安装,先安装tensorflow-1.14.0pip install --upgrade https://storage.googleapis.com/tensorflow/mac/cpu/tensorflow-1.14.0-py3-none-any.whl
2020-02-22 14:28:15 19475 9
原创 Python打包方法——Pyinstaller
Python版本:Python3.5.2一、安装Pyinstaller1、安装pywin32下载安装文件:查找到跟自己适用的python版本及window系统版本匹配的pywin32,下载后安装使用pip命令安装:pip install pywin322、安装Pyinstaller下载安装文件安装:官网使用pip命令安装:pip install PyInstaller二、使用Pyi...
2020-01-21 09:25:20 355
原创 Python3结合MYSQL爬取股票信息
1、具体代码如下:import reimport requestsimport jsonfrom pyquery import PyQueryimport pymysqlstock_list_url = 'https://hq.gucheng.com/gpdmylb.html'stock_info_url = 'http://qd.10jqka.com.cn/quote.php?...
2020-01-15 23:36:37 393
原创 Python MySQL教程:将MySQL数据库与Python结合使用
什么是PyMySQL您可能已经知道要使用任何数据库,我们需要数据库驱动程序。PyMySQL是用于在Python中运行MySQL的纯Python驱动程序。现在,请记住,默认情况下此PyMySQL不可用。因此,首先,我们将学习如何下载和安装此驱动程序。安装PyMySQL在这里,我假设您的计算机上已经安装了python。而且,您已经完成了设置环境变量的工作。如果没有,那么您应该先转到此链接。要...
2020-01-10 16:48:17 1190
原创 Python3使用unrar包解压rar压缩包
from unrar import rarfilerar = rarfile.RarFile(r'.\PythonLearn\src\Files\***.rar', mode='r') # mode的值只能为'r'rar.namelist()rar.printdir()rf_list = rar.namelist() # 得到压缩包里所有的文件print('rar文件内容', rf_...
2019-12-27 09:23:16 1696
原创 mysql中利用sql语句修改字段名称,字段长度等操作
在网站重构中,通常会进行数据结构的修改,所以添加,删除,增加mysql表的字段是难免的,有时为了方便,还会增加修改表或字段的注释,把同字段属性调整到一块儿。这些操作可以在phpmyadmin或者别的mysql管理工具中完成,但是我们有时为了更方便的管理,会选择写sql语句来实现。1.修改字段的长度语法:ALTER TABLE 表名 MODIFY COLUMN 字段名 数据类型(修改后的长度...
2019-12-21 23:36:42 387
原创 Python3使用mysql创建新数据库并进行增删改查操作
import pymysql#在数据库中插入数据def insertData(db, cursor): # 插入数据 sql = """INSERT INTO student (id, name, age)VALUES (1, '小明', 18), (2, '小兰', 18);""" try: ...
2019-12-18 02:20:12 492
原创 python3使用requests和csv库抓取某地市肯德基门店地址并存入csv文件
示例代码如下:import requests,csv def main(): url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleW...
2019-12-15 13:05:32 435
原创 Python3使用字符串和常用数据结构实现双色球选号
实例代码如下:from random import randint, sampledef display(balls): """ 输出列表中的双色球号码 """ for index, ball in enumerate(balls): #enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标,一...
2019-12-10 15:03:02 295
原创 Python3设计一个函数产生指定长度的验证码,验证码由大小写字母和数字构成
实例代码如下:import randomdef generate_code(code_len): all_chars = '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ' last_pos = len(all_chars) - 1 code = '' for _ in range(c...
2019-12-09 17:00:27 3596
原创 Python学习之循环结构
一.在Python中构造循环结构有两种做法,一种是for-in循环,一种是while循环。1.for-in循环如果明确的知道循环执行的次数或者要对一个容器进行迭代(后面会讲到),那么我们推荐使用for-in循环,例如下面代码中计算1~100求和的结果(∑n=1100n\displaystyle \sum \limits_{n=1}^{100}nn=1∑100n)。"""用for循环实现1...
2019-12-05 17:32:34 476
原创 python 装饰器
闭包函数 在看装饰器之前,我们先来搞清楚什么是闭包函数。python是一种面向对象的编程语言,在python中一切皆对象,这样就使得变量所拥有的属性,函数也同样拥有。这样我们就可以理解在函数内创建一个函数的行为是完全合法的。这种函数被叫做内嵌函数,这种函数只可以在外部函数的作用域内被正常调用,在外部函数的作用域之外调用会报错。而如果内部函数里引用了外部函数里定义的对象(甚至是外层之外,但不...
2019-12-03 16:14:40 111
原创 Python3之GUI界面编程Tkinter更改窗口默认图标
使用python将图片格式转换为ico格式首先安装PythonMagick包,直接用pip安装,或者到https://www.lfd.uci.edu/~gohlke/pythonlibs/#pythonmagick下载whl压缩包。pip install PythonMagick实例代码:import PythonMagickimg = PythonMagick.Image('*....
2019-12-02 16:17:08 3987
原创 用Python编写的第一个爬虫程序
实例代码如下:import reimport osimport urllib.request#根据给定的网址来获取网页详细信息,得到的html就是网页的源代码def getHtml(url): page = urllib.request.urlopen(url) html = page.read() return html.decode('UTF-8')def ...
2019-12-02 00:41:56 287
原创 Python3通过百度AIP实现文字识别
实例代码如下:from aip import AipOcrimport osprint(os.getcwd()) #获取当前工作目录路径APP_ID='******' #通过百度AI开放平台申请https://ai.baidu.com/API_KEY='******' ...
2019-12-01 23:47:55 15195
原创 Python3导入自定义模块,以及if __name__ == '__main__',__init__和self 的解析
一. 导入自定义模块在Python的安装目录下新建一个文件夹mymoudle,用来存放编写的文件。首先,编写一个say.pydef say_hello(): print("Hello World!")def sys_name(name): print("我的名字是:"+name)其次,编写一个demo.py,用来导入say.py模块import say as s ...
2019-11-29 11:06:05 399
原创 Python3使用绘图Turtle库画五角星
>>> import turtle>>> def draw_pentagram(size):... count = 1... while count <= 5:... turtle.forward(size)... turtle.right(144)... count+=1...>>> def main()...
2019-11-25 17:47:47 1213
原创 Python3之def函数
Python3 函数1、先看一个简单的例子:>>> c=20 #c在这里是全局变量>>> def sum(a,b): #定义一个函数,函数内容以冒号起始,并且缩进... c=a+b #c在这里是局部变量... print('the c is:',c)...
2019-11-25 15:32:24 2248
原创 Win8安装mysql-8.0.18-winx64,创建和连接数据库详细步骤
1.进入地址:https://dev.mysql.com/downloads/mysql/ 下载mysql-8.0.18-winx642.解压zip包,并将解压文件放入一个文件夹下,如图:3.配置环境变量(目的是为了避免在CMD窗口下操作时反复切换路径)在Path下添加 D:\MySQL\mysql-8.0.18-winx64\bin4.编写配置文件我们发现解压后的目录并没有my....
2019-11-25 00:00:27 514
原创 Python使用绘图Turtle库画圆并保存到本地硬盘
#from turtle import* #未导入turtle包,但实际上从这个命名空间导入了所有的成员,所有直接使用命名空间内已经定义好的项目名称即可import turtle #import turtle 是导入turtle包,不能使用未声明的变量.因此,要对每项加上包的前缀turtle.tracer(False)turtle.begin_fill()turtle.c...
2019-11-22 17:27:25 5734 1
原创 Python中的format()函数
Python2.6开始,新增了一种格式化字符串的函数format(),它增强了字符串的格式化功能。(官方推荐)基本语法是通过{} 和 : 来代替以前的%。format()函数可以接收不限个参数,位置可以不安顺序。>>>"{} {}".format("hello", "world") # 不设置指定位置,按默认顺序'hello world' >>&g...
2019-11-22 11:36:51 1742
原创 Python3安装并读取MySQL数据库
升级pip及查看pip版本C:\WINDOWS\system32>python -m pip install --upgrade pipC:\WINDOWS\system32>python --version安装MySQL数据库在管理员:命令提示符 模式下C:\WINDOWS\system32>pip install pymysql读取MySQL数据库C:\WIN...
2019-11-22 01:02:59 377
原创 pip安装更新模块,以及执行更新所有模块
C:\WINDOWS\system32>pythom -m pip install --upgrade pip
2019-11-21 23:13:35 800
原创 python的条件语句
一、python的条件语句if语句var=100if(var==100): print("变量var的值为100")print("Good bye!")while语句>>> sum=0>>> n=99>>> while n>0:... sum=sum+n... n=n-1...>>...
2019-11-21 17:40:46 295
空空如也
请问以下爬虫程序错在哪里,爬取到的数据存不进MQSQL数据库
2019-12-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人