- 博客(40)
- 收藏
- 关注
RSS订阅原创 Swift1 - 最最最最基础语法
在《Swift Programming Language》中啃了最最最最基础的语法部分，全英文的真难懂啊，啃了一下午才啃了五页。输出Hello Worldprint("Hello World")定义常量 let （可以不声明数据类型，可自动判断出来）let myConst1 = 1let myConst2 = "mx"let myConst3 : Double = 2.3定义变量 var （可以不声明数据类型，可自动判断出来）var myVar1 = 1myVar1 =
2021-12-02 16:30:25
325
原创 iOS（0）- 知乎iOS学习资料收集
在知乎上搜索了一些学习建议，先整合一下资料。学习方法（最核心）：多写多练iOS 开发怎么入门？ - 知乎https://www.zhihu.com/people/Fang. 这里都是干货，就不粘贴了。2021 年，如何学习 iOS 开发？ - 知乎王禹效 Legolas - 知乎“在当下及可见的未来中，「MVVM 应用架构 + OOP/Functional 编程范型 + SPM 包管理 + Swift 编程语言 + SwiftUI 描述性视图框架 + Combine 响应式数据关联 ...
2021-12-01 16:10:49
2140
原创 iOS（0）- 所思所想
最近在看《认知觉醒》，这本书真的是醍醐灌顶。反思我这一生（快26岁了哈哈）碌碌无为的根因是我竟一件事情也没坚持下来过。什么都是三分钟热度，用一句话举例：“精通各种语言的Hello World！”之前更的python爬虫算是我学得最久的了，但是久而久之不用也就放弃了忘记了，导致现在还有很多有热情的小伙伴来问我问题我都不知道怎么回答，真抱歉了。这本书的另一个触动我的地方在于人类的本性就是趋易避难，急功近利。人们焦虑在于欲望太多，想做的太多，又急于看到效果。最近我确实如此，作为测试，想学Android-Jav
2021-12-01 14:48:16
2266
原创 pandas练习---100题-和鲸kesci版
https://www.kesci.com/home/project/59e77a636d213335f38daec2/code题目来源于此网站，数据可以从此网站上下载。觉得pandas和numpy的知识点都很琐碎，所以简单看了一下，开始做题。这题目有些和答案写的不一样，有些题目出得模棱两可，就按照自己的想法写了。练习一：探索Chipotle快餐数据1. 导入 Pandas...
2019-10-31 10:53:13
9933
原创 pandas学习---为 Jupyter Notebook 安装代码提示功能
首先进入Anaconda Navigator打开终端依次输入，等待安装完成pip install jupyter_contrib_nbextensionsjupyter contrib nbextension install --userpip install jupyter_nbextensions_configuratorjupyter nbexten...
2019-10-25 16:32:38
661
原创 数据分析---三种数据分析核心思维：结构化、公式化、业务化
数据分析有三种核心思维：结构化、公式化、业务化背景：有个线下销售的产品，发现8月的销售额度下载了。怎么分析这一现象？混乱的思路：和去年同比下降了20%，不知道是突然暴跌还是逐渐下降。再按照不同地区的数据看下差异，不知道有无地区性因素的影响。问几个销售员看下市场环境怎么样，听说竞争对手也下降了。还要访谈顾客...一、结构化将分析思维结构化1、将论点归纳整理：找...
2019-10-23 20:54:38
2179
原创 pandas学习---使用anaconda安装jupyter及其使用
上篇写了如何安装anaconda安装完之后，直接cmd输入conda install jupyter notebook等安装完之后，直接在cmd输入jupyter notebook此时自动会弹出jupyter notebook网页点击右上角的new，选择python3（如果装的2.x就是python2）即可...
2019-10-22 18:26:15
2432
原创 pandas学习---anaconda下载、安装、使用
一、下载安装下载地址：https://www.anaconda.com/download/我选择的3.7版本，根据自己平时用的python环境来下好了进入文件夹，双击.exe开始安装，一路next到这里，第一个是自己配置环境，第二个是配置默认环境，比较懒，直接第二个因为比较大，安装需要很久，直到显示completed，也就是next可以点击，然后finish，那两个...
2019-10-22 17:52:05
7103
原创 数据分析---常用业务模型
本文是学习了天善学院秦路老师的课程的总结一、市场营销模型例如：机会客户指标：潜在客户转化率机会客户转化率新客付费转化率不同渠道在新客中的占比不同渠道在新客中的付费转化二、AARRR模型例如：二次激活：推送激活转化率有效推送成功率有效推送到达率用户打开率不同推送的转化率三、用户行为模型（内容平台）（类似知乎、头条等）...
2019-10-21 22:53:25
2271
原创 数据分析---常用业务运营指标
本文是学习了天善学院秦路老师的课程的总结一、市场营销指标：用户/客户生命周期：企业/产品和消费者在整个业务关系阶段的周期。不同业务划分的阶段不同。传统营销中分为潜在用户、兴趣用户、新客户、老客户、流失客户用户价值：用户贡献=产出量/投入量*100%（内容运营，比如知乎）用户价值=（贡献1+贡献2+……）（比如金融行业会以存款+贷款+信用卡+年费+……-风险-流失）RFM模...
2019-10-21 22:40:01
2123
原创 05.MySQL视图、事务、索引、账户管理
一、视图： 视图是什么 通俗的讲，视图就是一条SELECT语句执行后返回的结果集。所以我们在创建视图的时候，主要的工作就落在创建这条SQL查询语句上。视图是对若干张基本表的引用，一张虚表，查询语句执行的结果，不存储具体的数据（基本表数据发生了改变，视图也会跟着改变）；方便操作，特别是查询操作，减少复杂的SQL语句，增强可读性；如果要查询姓张的同学的名字，学科，成绩：se...
2019-10-14 19:11:02
172
原创 04.MySQL数据库查询：分页查询、连接查询
一、分页查询：limit select * from 表名 limit start,count 例如：select * from student limit 2,3 查询第3、4、5行数据二、连接查询原表： 内连接： 查询的结果为两个表匹配到的数据（两表都有） 右连接： 查询的结果为两个表匹配到的数据，右表特有的数据，对于左表中不存在的数据使用nu...
2019-10-14 19:08:39
189
原创 03.MySQL数据库查询：条件查询、排序、分组、聚合
准备数据： 创建数据库、数据表 -- 创建数据库create database python_test_1 charset=utf8;-- 使用数据库use python_test_1;-- 创建students表create table students(id int unsigned primary key auto_increment not n...
2019-10-14 18:56:01
317
原创 02.数据库的操作，数据表的操作，表中数据的操作
一、mysql 数据库的操作：sql语句最后需要有分号;结尾 创建数据库：create database 数据库名 charset=utf8;例如：create database teacher charset=utf8; 查看当前使用的数据库：select database(); 查看所有数据库：show databases; 查看创建数据库的语句：show...
2019-10-14 18:14:43
221
原创 01.Windows10下的MySQL安装、启动、连接、关闭
一、下载MySQL1、下载MySQL：https://dev.mysql.com/downloads/mysql/2、不登录，直接下载。3、选择安装路径，一路下载完成，然后解压二、配置环境变量1、进入高级系统配置2、点击环境变量3、path中添加%MYSQL_HOME%\bin4、新建一个系统变量，变量名：MYSQL_HOME，变量值：D:\My...
2019-10-14 18:09:35
223
原创 数据可视化---将某个股票每天收盘价通过matplotlib生成折线图
import tushare as tsimport matplotlib.pyplot as pltfrom datetime import datetimeimport matplotlib.dates as mdatesfrom pandas.plotting import register_matplotlib_convertersregister_matplotlib_co...
2019-09-25 18:54:54
4079
1
原创 练习---爬取股票、基金信息，通过钉钉机器人发送至群
最近沉迷于基金股票，又不好天天瞅着，就写了个每隔5min发送我选的某几个基金和股票的信息，通过钉钉机器人发送到钉钉群（工作用钉钉，方便摸鱼时看股票）在这里用了tushare直接获取股票信息，只要输入股票代码就行基金信息是爬取的东方财富网的基金信息的，只要输入基金代码就行钉钉群机器人直接在钉钉群设置里选智能群助手就可以添加机器人了，会给你一个url，用post请求就可以了impor...
2019-09-18 15:17:00
1627
1
原创 练习---爬取薄荷网所有食物卡路里，并分类放入excel中
首先薄荷网里有11种大的食物分类，每种大的食物分类里有10页，每页10个食物及热量记录。本来想把这一共110个url都放入queue队列中，然后爬取，但是这样会打乱食物的分类，所以就只把每个食物大类的10个页面每次放入queue中，这样保证大类不会错乱，但是会比将110个网页放入queue会慢很多。然后按照每个大类分别放入excel中的不同表单中。#爬取薄荷网十一大类食物的卡路里fro...
2019-09-09 17:17:45
2471
4
原创 练习---爬取时光网电视剧TOP100的电影名，用同步和异步两种方式，并对比完成速度
from gevent import monkeymonkey.patch_all()import requests,time,geventfrom bs4 import BeautifulSoupfrom gevent.queue import Queueres = requests.get('http://www.mtime.com/top/tv/top100/')html ...
2019-09-07 20:01:34
2034
3
原创 学习---在python里用gevent和queue建立多协程的爬取
平时写的爬虫，有多个url时，只能一个一个请求，这叫同步的爬虫方式，速度耶比较慢。为了解决这样的问题，一种非抢占式的异步技术被创造了出来，这种方式叫多协程（在此，多是多个的意思）。它的原理是：一个任务在执行过程中，如果遇到等待，就先去执行其他的任务，当等待结束，再回来继续之前的那个任务。在计算机的世界，这种任务来回切换得非常快速，看上去就像多个任务在被同时执行一样。所以，要实现异步的...
2019-09-07 19:54:06
1192
1
原创 练习---selenium爬取拉勾网的职位信息
今天刚开始学selenium，就写了一个爬取拉勾网某个你想搜索职位的公司、职位名、薪酬、招聘要求和招聘链接并且存储到同一个表格中的不同表单中（每搜索一次，存储在同一表格的新的表单中）进入拉勾网的第一个页面没有隐藏起来，后面点击链接后的页面隐藏起来了（怕我老板发现我在浏览别的公司的信息）刚学selenium，好多find方法还不熟练~~~from selenium import w...
2019-09-06 20:10:37
445
原创 练习---接入图灵机器人+itchat回复好友消息
先去http://www.tuling123.com/member/robot/index.jhtml创建一个机器人，记住这个apikey可以查看https://www.kancloud.cn/turing/www-tuling123-com/718227api2.0接入文档下面是在终端运行与图灵机器人对话import requestsimport json#图灵机器人的...
2019-07-05 11:41:11
305
原创 练习---爬取堆糖上搜索的图片，并下载下来
import requestsimport jsonimport osdef search_photo(name,max_n,count,num): url="https://www.duitang.com/napi/blog/list/by_search/" params={ 'kw':name, 'type':'feed', 'include_fields':'top_...
2019-06-25 19:22:40
1554
原创 练习---爬取堆糖上的头像
import requestsimport jsonimport osdef save_photo(num,name): nums=0 count=0 while nums<=30: url="https://www.duitang.com/napi/blog/list/by_filter_id/" params={ 'include_fields':'top_...
2019-06-25 13:40:47
556
原创 练习---有道翻译来自动翻译（菜鸡版）
爬取有道翻译时，发现有道使用了反爬虫机制，将sign和salt加密了，网上很多大神已经破解了（跪拜）传送门：https://tendcode.com/article/youdao-spider/本菜鸡用了最投机取巧的方法，将'http://fanyi.youdao.com/translate_o'中的'_o'去掉就行了（来源于https://www.pypypy.cn）至于原理，本菜鸡...
2019-05-10 15:10:27
391
原创 练习---爬取饿了么某POI地址附近的餐厅（不能自动登录版）
这一章学的是带cookies登陆，本来想写入存储cookies，下次就可以自动登陆了，但是写失败了。而且饿了么只支持手机验证码登录，我发验证码太频繁了已经被饿了么限制了嘤嘤嘤...目前只能简单写一下输入手机号，发送验证码，登录（如果发送验证码失败就不能继续了，所以要保证手机号可用）。另一个限制是我只能搜索固定一座城市的地址，在这里写的是广州。总之是一个能运行但是功能不牛x的有瑕疵...
2019-05-10 14:24:00
830
原创 练习---利用扇贝网做个测单词的小工具
将错误单词和不认识的单词打印出来import requestsimport time#选择单词类别url='https://www.shanbay.com/api/v1/vocabtest/category/'res=requests.get(url)js=res.json()category=js['data']n=0print('欢迎使用梦潇测单词！\n')time....
2019-05-08 18:40:48
2540
原创 练习---爬取知乎某个用户所写文章的标题、链接、内容简介
import requestsimport openpyxlfrom pypinyin import lazy_pinyinimport os#汉字转拼音def toPy(name): names=lazy_pinyin(name) py=names[0] for n in names[1:]: py=py+'-'+n return pydef get(name,pa...
2019-05-06 16:01:22
1051
原创 练习---将爬取的豆瓣TOP250书籍存储到csv文件中
之前有写过用xlwt存储到excel表中，这次写存储到csv文件中import requestsimport jsonimport csvfrom bs4 import BeautifulSoupbooks=[]def book_name(url): res=requests.get(url) html=res.text soup=BeautifulSoup(html,'...
2019-05-05 14:46:03
1014
原创 练习---爬取QQ音乐多个歌手的歌单，存取到同一个Excel工作簿中不同sheet表格中
import requestsimport jsonimport openpyxlimport osdef save_music(singer): url='https://c.y.qq.com/soso/fcgi-bin/client_search_cp' path='C:\\Users\\Xpeng\\Desktop\\爬取到的表格\\歌曲.xlsx' if os.pat...
2019-05-05 14:27:03
1164
3
原创 05.爬虫---存取文件---csv和excel
一、csv写入与读取csv是什么csv是一种字符串文件的格式）（json是特殊的字符串），它组织数据的语法是在字符串之间加分隔符---行与行之间加换行符，同行之间加逗号分隔。可以用任意文本编辑器打开。python自带了csv模块csv文件里的逗号可以充当分隔同行字符串的作用import csvfile=open('C:\\Users\\Xpeng\\Desktop\\爬取到的表格...
2019-05-05 14:22:42
400
原创 练习---爬取QQ音乐某首歌的评论，并存入Excel表中---以《消愁》为例
import requestsfrom bs4 import BeautifulSoupimport jsonimport xlwt#存储成Excel表格的函数def save_excel(comment,save_file):#第一个参数的整个评论存储所在的列表 wb=xlwt.Workbook() sheet=wb.add_sheet('评论') for i in ran...
2019-04-28 18:27:52
1093
1
原创 04.爬虫---带参数请求数据---params
在Network中的Headers中的Query String Parameters中找到下面的参数把上面的参数放在一个字典中，记得要加上引号''和逗号, 由于加这些比较麻烦，写了个小函数，自动加上引号和逗号def add_yinhao(test): #将复制来的param加上引号如下 #test="""'content'""" test=test.replace(' ',...
2019-04-28 18:17:30
8311
原创 03.爬虫---解析数据与提取数据---Network和json
访问动态页面时，会有很多请求，如果用BeautifulSoup只能访问第0个请求，所以爬取大多数网页需要在Network中查找到所需要的请求页面。以QQ音乐的网站为例，在QQ音乐中搜索孙燕姿。找到Network网页中点击右键，进入检查（ctrl+shift+i），第一行第四个是NetworkNetwork的功能记录在当前页面上发生的所有请求。现在点进去看上去好像空空如也的样子...
2019-04-28 17:55:36
2901
1
原创 练习---将爬取的豆瓣TOP250存储到Excel表中
爬取豆瓣TOP250的电影，存在Excel中import requestsfrom bs4 import BeautifulSoupimport xlwt#------将爬取内容-豆瓣电影250-存储到excel表格中----------def excel(movies,save_file):#存储成excel表 wb=xlwt.Workbook() #创建工作表 she...
2019-04-28 17:07:56
1575
原创 练习---打印出电影天堂中电影的下载链接
用户输入喜欢的电影名字，程序即可在电影天堂https://www.ygdy8.com爬取电影所对应的下载链接，并将下载链接打印出来。我写的这个功能很简单，只能打印出找到的第一个电影的下载链接。import requestsfrom bs4 import BeautifulSoupfrom urllib.request import quote#quote()函数，可以帮我们把内容转...
2019-04-28 16:46:21
6716
原创 02.爬虫---解析数据和提取数据---BeautifulSoup
BeautifulSoup不是Python库，需要单独安装-pip install BeautifulSoup4 #Mac是pip3一、解析数据 bs对象：bs对象=BeautifulSoup(要解析的文本,'解析器')， 其中，要解析的文本必须是字符串！后面的参数用来标识解析器，现在用的是一个Python内置库：html.parser。（它不是唯一的解析器，但是比较简单的）...
2019-04-28 16:40:32
1793
原创 01.初识爬虫---获取数据---Response对象的常用属性
1. 爬虫的工作原理：（获取数据）当你决定去某个网页时，爬虫可以模拟浏览器去向服务器发送请求 （解析数据）等服务器响应后，爬虫可以代替浏览器帮我们解析数据 （提取数据）接着爬虫可以根据我们设定的规则批量提取相关数据， （储存数据）最后爬虫可以批量把数据存储到本地2. 获取爬虫：requests.get()方法import requests #引入requests库URL...
2019-04-28 14:10:59
4026
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人