- 博客(30)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 10、爬虫总复习
文章目录1、解析与提取（Beautiful、json）2、更厉害的请求（get、post、cookies）3、存储（csv、openpyxl）4、更多的爬虫（协程/gevent、queue）5、更强大的爬虫（Scrapy框架）6、给爬虫加上翅膀（selenium、邮件/smtplib+email、定时/schedule）1、解析与提取（Beautiful、json）当数据藏匿于网页源代码（BeautifulSoup）手动修改编码类型：response.encoding=‘xxx’当数据藏匿于 X
2021-09-15 11:24:14
158
原创 9、Scrapy框架
文章目录Scrapy的结构Scrapy的工作原理Scrapy的用法用Scrapy框架爬取豆瓣Top250图书的数据Scrapy的结构Scrapy的工作原理Scrapy的用法用Scrapy框架爬取豆瓣Top250图书的数据创建一个Scrapy框架（cmd -> d: -> cd xxx）scrapy startproject doubanspiders_top250.pyimport scrapyimport bs4from ..items import DoubanI
2021-09-14 15:17:16
149
原创 8、用协程技术和队列爬取
代码：from gevent import monkey#从gevent库里导入monkey模块。monkey.patch_all()#monkey.patch_all()能把程序变成协作式运行，就是可以帮助程序实现异步。import gevent,time,requests#导入gevent、time、requestsfrom gevent.queue import Queue#从gevent库里导入queue模块start = time.time()url_list = ['ht
2021-09-12 20:04:46
175
原创 第一门课_第四周：深层神经网络
文章目录4.1 深层神经网络4.3 深层网络中的前向传播4.4 核对矩阵的维数4.6 搭建神经网络块4.2 前向传播和反向传播（视频顺序有错）4.7 参数vs超参数4.8 深度学习和大脑的关联性4.1 深层神经网络4.3 深层网络中的前向传播4.4 核对矩阵的维数4.6 搭建神经网络块4.2 前向传播和反向传播（视频顺序有错）4.7 参数vs超参数4.8 深度学习和大脑的关联性...
2021-08-26 17:37:12
87
原创 Axios
文章目录一般使用实例使用一般使用// 公共配置axios.defaults.baseURL = 'http://xxx'// 调用接口axios({ url: '/banner',}).then(res =>{ console.log(res);})实例使用// 需要从两台或更多台服务器拿数据时，可以用实例const ins1 = axios.create({ baseURL: 'http://xxx'})ins1({ url: '/xxx'
2021-08-08 09:52:55
55
原创 Promise
文章目录回调地狱PromisePromise.all回调地狱// 回调地狱（多层请求嵌套）$.ajax({ url: 'http://xxx', success: function(res){ console.log(res); $.ajax({ url: 'http://xxx?id=' + res.list[0].id, success: function(res) { console.log(res); } }) }})Promise// Pr
2021-08-08 09:39:10
63
原创 Ajax应用
文章目录在原生js中应用ajax在jQuery中应用ajax在原生js中应用ajax// 生成一个ajax请求对象var xhr = new XMLHttpRequest()// 打开一个请求xhr.open('GET', url, true)// 发送请求xhr.send()// 服务器有相应执行的函数xhr.onload = function(){ // const data = xhr.responseText; const data = JSON.parse(xhr.respo
2021-08-05 15:54:53
58
原创 第一门课_第三周：浅层神经网络
文章目录3.1 神经网络概述3.2 神经网络的表示3.3 计算一个神经网络的输出3.4 多样本向量化3.5 向量化实现的解释3.6 激活函数3.7 为什么需要非线性激活函数？3.8 激活函数的导数3.9 神经网络的梯度下降3.10 直观理解反向传播3.11 随机初始化3.1 神经网络概述3.2 神经网络的表示3.3 计算一个神经网络的输出3.4 多样本向量化3.5 向量化实现的解释3.6 激活函数3.7 为什么需要非线性激活函数？3.8 激活函数的导数3.9
2021-08-04 11:47:16
329
原创 mysql+python的基础操作
# 导入包import pymysql# 链接数据库db = pymysql.connect( host="localhost", user="root", password="xxxxxx", database="test",)# 定义游标cursor=db.cursor()# 创建表sql_create_table="CREATE TABLE User(id int, name varchar(255))"cursor.execute(sql_cr
2021-07-28 08:48:56
101
原创 neo4j+python的基础操作
# 导入包from py2neo import Graph,Node,Relationship,RelationshipMatcher# 链接到neo4j数据库graph=Graph('http://localhost:7474',username='neo4j',password='xxxxxx')# 创建节点（均可直接赋值变量）a=Node('User',name='yaim') #第1个参数为节点类型，第2个参数为节点属性和值b=Node('User',name='fyl')# 创建
2021-07-28 08:41:19
335
原创 neo4j数据库的基础操作
（1）创建一个节点：CREATE (n:Stock{name:’安琪酵母’,code:’600298’,launchDate:date(“2000-08-18”)}) RETURN n（2）创建多个节点：CREATE(n:Stock{name:’招商银行’，code:’600036’,launchDate:date(“2002-04-09”)}),(:Stock{name:’中科创达’,code:’300496’,launchDate:date(“2015-12-10”)}) RETURN n（3
2021-07-28 08:30:37
166
原创 Vue入门笔记（B站）
文章目录00.Html5框架代码01.Vue官网地址02.第一个Vue程序03.el挂载点04.data数据对象05.本地应用_v-text指令({{}}指令)06.本地应用_v-html指令07.本地应用_v-on指令(@指令)08.本地应用_v-show指令09.本地应用_v-if指令10.本地应用_v-bind指令(:指令)11.本地应用_v-for指令00.Html5框架代码<!DOCTYPE html><html lang="en"><head>
2021-07-18 15:17:30
188
原创 第一门课_第二周：神经网络的编程基础
2.1 二分类2.2 逻辑回归（Logistic Regression）的假设函数2.3 逻辑回归的代价（成本）函数（Logistic Regression Cost Function）2.4 梯度下降法（Gradient Descent）2.7 计算图2.8 使用计算图求导2.9 逻辑回归中的梯度下降法2.10 m个样本的梯度下降法2.11 向量化2.12 向量化的更多例子2.13 向量化逻辑回归2.14 向量化逻辑回归的梯度输出2
2021-07-17 11:19:50
137
原创 第一门课_第一周：深度学习引言
1.2 什么是神经网络？① 深度学习：训练神经网络的过程。② ReLU激活函数（Rectified Linear Unit）：从趋近于零开始，然后变成一条直线。③ 神经网络：以预测房价为例。1.3 用神经网络进行监督学习① 图像应用—常用卷积神经网络（CNN）；序列数据（如音频、语言）—常用递归神经网络（RNN）；更复杂应用（如自动驾驶）—常用混合的神经网络。② 标准的神经网络：卷积神经网络（CNN）：递归神经网络（RNN）：③ 结构化数据：每个特征，如房屋大小卧室数量、用户的年
2021-07-17 10:30:53
57
原创 Django入门笔记（B站）
1、在app的 templates 文件夹中添加文件 ‘calPage.html’ ：编写相应的前端代码：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>计算页面</title></head><body><form method="post" action="/calAction/"&g
2021-07-14 10:04:44
212
原创 7、Selenium的使用
环境配置：Google Chrome + chromedriver（版本要与Chrome相同，chromedriver.exe放到python.exe所在的文件目录下）+ selenium 3.141.0# # 本地Chrome浏览器的静默模式设置：# from selenium import webdriver #从selenium库中调用webdriver模块# from selenium.webdriver.chrome.options import Options # 从options模块中
2021-07-09 15:52:42
75
原创 6、cookies和session的应用
直接见代码：import requests,jsonsession = requests.session()#创建会话。headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.6241 SLBChan/25'}#添加请求头，避免被反爬虫。
2021-07-07 09:27:32
87
原创 5、带参数请求数据（get函数的补充）
import requestsurl = 'https://c.y.qq.com/soso/fcgi-bin/client_search_cp'headers = { 'origin':'https://y.qq.com', # 请求来源，本案例中其实是不需要加这个参数的，只是为了演示 'referer':'https://y.qq.com/n/yqq/song/004Z8Ihr0JIu5s.html', # 请求来源，携带的信息比“origin”更丰富，本案例中其实是
2021-07-02 11:02:38
170
原创 4、excel和csv的写入、读取数据操作
# Excel写入的代码：import openpyxl # 0.创建工作簿wb = openpyxl.Workbook() # 1.获取工作表sheet = wb.active# 2.修改工作表名称sheet.title ='new title'# 3.操作单元格sheet['A1'] = '漫威宇宙'rows = [['美国队长','钢铁侠','蜘蛛侠','雷神'],['是','漫威','宇宙', '经典','人物']]for i in rows: sheet.appen
2021-07-02 10:24:03
333
原创 2、爬取网页的相关信息（BeautifulSoup库）
以获取到“淘宝网->主题市场”的文本内容为例。1、对网页源代码进行分析（前期准备工作）打开“淘宝网”，按快捷键“F12”打开网页源代码，用元素选择键（下图蓝框标出）选择“主题市场”模块，跳转到该模块相关代码。可以看到，“主题市场”模块（上图左侧红框）的源代码（上图右侧红框）为一个<ul>标签。而该<ul>标签下含有多个<li>标签，每个<li>标签对应着“主题市场”模块内的一行内容。点开一个<li>标签，可以看到，下方内含多个&l
2021-02-21 20:09:27
249
1
原创 1、爬取文章、图片到本地（requests库）
所用软件：Visual Studio Code1、爬个文章到本地#引入requests库（安装:cmd->pip install requests）import requests#调用requests.get('URL')方法，URL为所需数据网址，双击网页网址栏获取res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')#以字符串形式返回所获数据no
2021-02-17 22:38:17
355
1
原创 [期末系列]手把手教你在Android Studio中实现图表
之所以写这篇博客，不是为了别的，主要是我自己在实现图表过程中，感觉真的挺困难的，虽然网上已经有很多种方法了，我的方法也并非我自己原创的，但是我还是想把我的一些经验分享给大家吧，因为是新手，所以更加懂得新手们缺的是什么，为什么那么多方法还是实现不了，下面，请听我一一道来。首先，点击打开Gradle Scripts，如下图：双击打开build.gradle(Project:xxxxx)，在all...
2019-05-31 19:48:52
8563
3
原创 [期末系列]手把手教你自定义跳转效果，实现不一样的界面切换
在Android Studio中，一般如果没有特别设置的话，界面切换特效都是千篇一律的，很枯燥，而且有时候这种特效和我们本身App的风格很不符合，如果给用户使用的话，那感觉是大打折扣的，那么，我们该如何自定义界面切换效果呢？下面我将以实现类似iphone跳转页面特效为例，自定义我们App自己的界面切换特效。首先，在res文件夹下，新建一个文件夹，建议取名为anim，在该文件夹中新建两个xml文件...
2019-05-31 17:31:52
448
原创 [期末系列]手把手教你如何在Android Studio中实现沉浸式状态栏
在Android Studio中，一般我们刚创建一个项目，然后运行，界面中的状态栏通常是这样的：这种状态栏虽然说不会很妨碍什么，但是市面上任何一款App都不会采用这种状态栏，因为真的比较难看，大多数App的状态栏是下面这种形式：那么这种状态栏是怎么实现的呢？首先，找到res->values->style.xml文件，双击打开。找到下面这句代码<style name="...
2019-05-31 16:16:41
5626
10
原创 关于两种更换ImageButton按钮图片方式的辨析
今天在进行制作“绿米播放器”实验时，在点击播放按钮后，需要将按钮的图片更换为暂停图片，首先是使用如下代码进行实现：play.setImageResource(R.drawable.pause);其中play为ImageButton，运行起来，结果如下：点击播放按钮：发现按钮的图片的确是更换了，但是好像有什么不对的地方，这并不是暂停图片啊，为什么会出现这种情况呢？一开始我也是想不通，一...
2019-05-15 19:51:00
1497
原创 广播消息实验的几个总结
1. 广播函数的调用书上的几个例子都是直接创建广播接收者，然后调用广播函数来实现，经查阅资料，其实也可以直接在MainActivity.java中直接创建广播接收者，从而调用广播函数来实现，相比而言，不用再创建一个java文件，在一定程度上还是省了不少的事情，下面是我贴出的相关代码。batteryLevelRcvr=new BroadcastReceiver() { @...
2019-05-08 10:29:30
751
原创 关于期中实验的几点总结
1. 随机数组元素排序算法的实现想通过对一个数组元素随机排序，从而实现上部分按钮图片的随机排布，但网上的所有类似算法都试过，没有一个可以正常运行的，基本都是一运行app强制停止，最后只能使用最蠢的算法来实现，虽然代码效率不高，但精确度是肯定的，但只适用于数组元素很少的情况下哦，实在不会随机排序的可以稍微看下这个最蠢的算法。 int temp; Random ran...
2019-04-23 13:49:25
109
原创 关于Android Studio在3.x.x版本找不到DDMS视图的解决办法
首先声明，这是我在进行教材练习时发现的问题，Studio 3.x.x完全找不到DDMS视图，搜索了很久才解决，也是借鉴了他人的经验，在这里总结一下！1.为什么在Android Studio 3.x.x版本找不到DDMS视图呢？Android Studio升级到3.x.x版本，官方是取消了DDMS视图的操作，用Android Profiler代替了DDMS视图，虽然我们仍可通过其他方式再次打开D...
2019-04-01 21:36:21
1889
原创 关于首次使用Android Studio遇到的两个小问题，有遇到同样问题的新手们可以参考下解决方案
一、由于与学校实验室开发android的软件不同（实验室用的是Eclipse for Android，而我自己的电脑上是直接安装了Android Studio），在使用上是十分不同的，最主要遇到的一个问题就是找不到android xml files，也不太懂其的具体用法，只知道老师是用这个来定义按钮的形状，后经查询，在Android Studio中，我们可以通过res->New->...
2019-03-16 21:43:40
371
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人