- 博客(22)
- 收藏
- 关注
RSS订阅原创 一文搞懂装饰器
def use_logging(level): def decortor(func): def wrapper(*args, **kwargs): if level=='warn': print('%s is running'% func.__name__) return func(*args) return wrapper return decortor# @use_lo.
2021-01-07 10:17:29
90
转载 2020-12-22
问题描述: 安装mysql时报错: 由于找不到vcruntime140_1.dll,无法继续执行代码解决方法: 这是缺少了动态链接库(.ddl文件), 跟mysql无关, 下载一份即可,下载地址, 拖到下面, 我下载的是64位版本的压缩包; 无法下载的朋友可以从网盘下载，网盘链接提取码：8ctl解压后将vcruntime140_1.dll复制到C:\Windows\System32即可注意, 32位版本的vcruntime140_1.dll需要复制到C:\Windows\SysW..
2020-12-22 09:28:15
110
原创 淘宝商品信息爬取（已登录）
感谢此链接对淘宝登录的帮助已成功爬取，以下是源代码：# 目标：获取淘宝搜索页面的信息 提取其中的商品名称和价格# 理解：1、淘宝的搜索接口 2、翻页处理# 技术路线：requests re# http://s.taobao.com/search?q=书包&js=1&stats_click=search_radio_all%3A1&initiative_id=sta...
2020-03-12 18:35:47
1628
1
原创 正则表达式
# pattern:正则表达式的字符串或原生字符串表示# string:待匹配字符串# flags；正则表达式使用时的控制标记# search 在一个字符串中搜索匹配正则表达式的第一个位置 返回match对象import rematch1=re.search(r'[1-9]\d{5}','BIT 100081')if match1: pr...
2020-03-11 20:53:42
125
原创 中国大学定向排名爬取
# 功能描述# 输入：大学排名url链接# 输出：大学排名信息的屏幕输出（排名，大学名称，总分）# 打开http://www.zuihaodaxue.cn/robots.txt 发现不存在 可以爬# 程序的结构设计# 步骤1：从网络上获取大学排名网页内容→getHTMLText()# 步骤2：提取网页内容中信息到合适的数据结构→fillUnivList()# 步骤3：利用数据结构...
2020-03-11 10:42:40
213
原创 BeautifuSoup库以及findALL中参数
一、安装BeautifuSoup库以管理员打开cmd输入：pip install BeautifuSoup4二、BeautifuSoup库的理解BeautifuSoup库是解析、遍历、维护”标签树“的功能库import requestsfrom bs4 import BeautifulSoup# 获取标签r=requests.get("http://python123.io/...
2020-03-10 15:17:46
208
原创 图片爬取
import requestsimport osurl="https://ss2.bdstatic.com/70cFvnSh_Q1YnxGkpoWK1HF6hhy/it/u=1495098953,1880040495&fm=26&gp=0.jpg"root="D://pics//"path=root+url.split('/')[-1]try: if not os...
2020-03-10 11:11:35
142
原创 百度搜索关键词爬取
import requestskeyword="Python"url="http://www.baidu.com/s"try: kv={'wd':keyword} r=requests.get(url,params=kv) print(r.request.url) r.raise_for_status() print(len(r.text )) ...
2020-03-10 10:51:13
1031
原创 亚马逊商品页面爬取
import requestsurl="https://www.amazon.cn/gp/product/B01M8L5Z3Y"try: r=requests.get(url) print(r.status_code) print(r.request.headers) # 亚马逊识别了此次访问是由'User-Agent': 'python-requests/2.23.0...
2020-03-10 10:36:50
447
原创 京东商品页面爬取
import requestsurl="https://item.jd.com/2967929.html"try: r=requests.get(url) r.raise_for_status() # 如果非200 则触发异常 r.encoding=r.apparent_encoding print(r.text[0:1000])except: pr...
2020-03-10 10:18:22
260
原创 爬虫准备知识
一、开发环境IDE:集成开发环境（编写，调试和发布python的工具）常用的python IDE工具:1、文本工具类IDE IDLE（python自带的、默认的、常用的、入门级编写工具） Sublime Text（专门为程序员开发的第三方专用编程工具） 2、集成类工具IDE Pycharm（简单，集成度高，适合较复杂工程） Anaconda&Spyd...
2020-03-09 09:50:08
129
转载 logistic逻辑回归
1. 什么是逻辑回归？许多人对线性回归都比较熟悉，但知道逻辑回归的人可能就要少的多。从大的类别上来说，逻辑回归是一种有监督的统计学习方法，主要用于对样本进行分类。在线性回归模型中，输出一般是连续的，例如y=f(x)=ax+b y=f(x)=ax+b，对于每一个输入的x，都有一个对应的y输出。模型的定义域和值域都可以是[-∞, +∞]。但是对于逻辑回归，输入可以是连续的[-∞, +∞...
2018-12-12 18:19:15
188
原创 问题集绵
1.ModuleNotFoundError: No module named 'scrapy' 将pycharm里面的解释器路径改为scrapy下的python.exe2.读取文件时出现：UnicodeDecodeError: 'gbk' codec can't decode byte 0x99 in position 2: illegal multibyte sequence 解决...
2018-12-12 11:52:03
122
原创 梯度下降算法及dot()函数的理解
文章参考来源六尺帐篷，其中加入了一些自己的理解。本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，最后实现一个简单的梯度下降算法的实例！梯度下降的场景假设梯度下降法的基本思想可以类比为一个下山的过程。假设这样一个场景：一个人被困在山上，需要从山上下来(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。因此，...
2018-12-09 21:25:47
2007
1
转载 最小二乘
文章转自Excaliburer`s Zone先看下百度百科的介绍：最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 通过这段描述可以看出来，最小二乘...
2018-12-08 21:44:05
181
转载 最大似然估计
最大似然原理即是根据经验猜测最大可能性的结果。最大似然估计原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。即是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导...
2018-12-08 18:52:13
899
转载 PCA主成分分析
在机器学习中，当有大量的数据需要训练分析时，有的数据或许存在很强的相关性，当机器学习需要处理成千上万的数据时，机器学习的资源消耗是不可接受的，因此我们必须对数据进行降维，降维也意味着信息的丢失，不过鉴于实际数据本身常常存在的相关性，我们可以想办法在降维的同时将信息的损失尽量降低。PCA降维将尽可能减少信息的丢失，下面就PCA降维原理进行详细阐述。以下转自小马哥当然我并不打算...
2018-12-07 20:16:25
194
原创 经典的鸢尾花分类
数据的分类和处理是以后更要加强学习的部分，今天先把代码贴在这了，算是立一个flag# -*- coding:utf-8 -*-import pandas as pdimport numpy as npfrom sklearn.decomposition import PCAfrom sklearn.feature_selection import SelectKBest, Sele...
2018-12-07 17:36:06
1256
原创 Pandas 模糊查询与替换
主要用到的工具：Pandas 、fuzzywuzzyPandas:是基于numpy的一种工具，专门为分析大量数据而生，它包含大量的处理数据的函数和方法，以下为pandas中文API:缩写和包导入在这个速查手册中，我们使用如下缩写：df：任意的Pandas DataFrame对象s：任意的Pandas Series对象同时我们需要做如下的引入：import pa...
2018-12-07 16:43:49
20528
4
原创 人工智能搜索策略的学习
。目前正在学习人工智能的课程理论知识，下面就该课程的主要知识做一些总结梳理。搜索策略就是结点扩展顺序的选择一、最佳优先搜索思想：使用一个评估函数f(n)给每个结点估计他们的希望值。优先扩展最有希望的未扩展结点。实现：open表中根据希望评估值从大到小排序。最佳优先搜索策略有：----贪婪最佳优先搜索----A*搜索1、贪婪最佳优先搜索评估函数f(n)=h(n) (heurist...
2018-11-09 20:47:36
568
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人