- 博客(17)
- 收藏
- 关注
RSS订阅原创 知识点-mysql、mongodb和redis数据库
a.mysql（首先下载mysql和可视化管理器navicat）1)简单使用可以参考笔记2）表结构的复制和数据的复制1.复制表结构及数据到新表CREATE TABLE 新表SELECT * FROM 旧表这种方法会将oldtable中所有的内容都拷贝过来，当然我们可以用delete from newtable;来删除。不过这种方法的一个最不好的地方就是新表中没有了旧表的primary...
2018-10-30 18:39:14
266
原创 django实现页面上传文件和下载和tkinter上传图片
1.tkinter上传图片主要用到filedialog通过filedialog.askopenfilename()读出文件路径了就可以进行后续文件操作，比如识图等等功能import tkinter as tkfrom tkinter import filedialogfrom PIL import Imageroot = tk.Tk()root.withdraw()file_pat...
2018-10-29 23:47:30
2169
原创 知识点-读取文件read(), readline(), readlines(),writelines()；去重set()
1.文件内容你好明天！！！2.read() 直接读出文件，str类型with open(r"C:\Users\Administrator\Desktop\word.txt","r") as f: aaa=f.read()print(aaa)print(type(aaa))print(aaa.spli
2018-10-29 22:37:57
557
原创 django 基本框架布局梳理
1.首先梳理下django框架运行流程首先客户端请求的会经过url路由进行处理，交给view视图，视图然后回去从modles（数据库）里提取需要的数据，最后数据给他模板templates进行渲染呈现给客户2.基本架构目录图3.首先需要在settings中配置具体各内容配置可以参考：[Django 2.0 基础]（app添加，汉字时间，模板和今天文件添加，数据库添加等）4.添加路由u...
2018-10-28 23:24:50
535
原创 Django 2.0 基础
1.创建a、创建项目：对应文件cmd： django-admin startproject ~b、然后cd到上面创建的~文件下创建app: python manage.py startapp ~c、然后是运行： python manage.py runserver2.设置a、创建app添加到设置中b、链接到数据库，后续需要#连接数据库,然后记得init里写上 import pym...
2018-10-28 22:52:23
218
原创 验证码图像识别-(PIL|tesserocr)和百度AI开放识图
1，PIL|tesserocr#安装会议很多坑，主要tesserocr pip安装同时需要你下载安装Tesseract软件，最后把Tesseract解压里的tessdata文件夹复制一份放在python根目录下即可成功运用import tesserocrfrom PIL import Imageimage=Image.open(r'C:\Users\Administrator\D...
2018-10-25 20:01:05
4440
原创 知识点-re和xpath高级用法
##1.re正则表达式特殊字符:^：代表以该字符为开头。如^b就是b为开头。.: 代表任意一个字符。如^b.就是b开头后面一个字母任意*: 代表前一个字符可以出现任意次（0个也可以）。如^b.*就是b开头后面可有任意数个任意字母$: 代表前一个字符为结尾符合。 如:.*3$就是以3为结尾的任意字符串?：非贪婪匹配。一般情况从右往左匹配正则，?可以实现从左往右，非贪婪指遇到第一个就结束...
2018-10-25 14:09:17
1754
原创 知识点-eval、split和jion、strip和replace
1.eval（eval函数，将列表样式的字符串转化为列表）a="[1,'abc']"print(type(a))print(eval(a))print(type(eval(a)))-----------以下为输出---------<class 'str'>[1, 'abc']<class 'list'>2.split和jion（split可以字符串转化...
2018-10-21 21:19:09
910
原创 知识点-GRequests异步请求和 Virtualenv python虚拟环境搭建
##都是可以pip进行直接安装1.GRequests异步请求（爬取更高效）import grequestsurls = [ 'http://www.heroku.com', 'http://python-tablib.org', 'http://httpbin.org', 'http://python-requests.org', 'http://...
2018-10-21 18:51:10
236
原创 天眼查新方式信息爬取
#本文通过新的方式爬取突破由于公司列表页出来公司名有反爬其，他信息没有可以取巧采取注册时间注册资本信息访问过多过快也会封，测试可以通过随机UA突破另外公司具体信息详情页可能不同公司展示xpath位置不一样，所以用re另外经营范围下载回来出现&amp;amp;amp;amp;amp;amp;amp;amp;#x开头的乱码，#&amp;amp;amp;amp;amp;amp;amp;amp;#xxx 的格式其实是unicode，用HTMLParser库解析
2018-10-21 13:18:45
21989
3
原创 Scrapy+Seleium+headless无头浏览器爬取天眼查数据
#难点：1.数据接口很难找到，反爬措施很强，所以用的seleium模拟抓取2.页面数据字体进行了异常，需要进行反向破解###本文用的是天眼查移动端 m.tianyancha.com 进行抓取，输入公司名可以抓取前面5条具体信息展示###还有网站字体异常反爬每天都会更新，所以需要后面使用的需要排除去除，用fontcreator软件###代码抓取也有些注意点，用的google...
2018-10-20 16:11:32
3396
3
原创 爬虫数据分析携程酒店：pandas结合matplotlib
#本篇主要是针对抓取下来的数据进行进一步的清晰和提取有用信息，并且可视化1.数据提取，这部分我就直接用之前的数据，总共7000多条2.读取和实现，我把代码先放上，具体有备注import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport matplotlib as mpl # 配置字体import...
2018-10-13 18:51:58
1773
2
原创 爬虫-携程酒店信息抓取降妖除魔（上）
#上篇主要讲的具体酒店详情页的信息提取（特别价格），下篇主要讲页面酒店数量及相关信息的提取#整个爬取过程确实很多坑，需要一步步去破解实现，需要耐心1.首先找到需要的数据源就很不容易，ajax加载，json数据在html处，最后还需要对html（string）进行解析抓取2，爬取提交requests数据headers、data参数也是需要深入分析，get提交参数都在链接里，每个酒店链接就不一...
2018-10-11 19:08:24
5865
3
原创 爬虫-携程酒店信息抓取降妖除魔（下）
#这骗主要是讲抓取酒店页面list的经历，也有很多坑，反爬，价格数据放在其他位置多分析才能事半功倍1.通过分析酒店相关信息list也是ajax加载，存放在json数据中，价格也在同一个json中但是放在另外的位置通过酒店id对应2.下来就是主要提取自己需要的信息，然后存储就好，这边存放csv和mysql数据库，代码中有两个注释知识点着重留意下，然后就是保存到mysql是通过pymysql...
2018-10-10 22:46:19
4144
14
原创 python量化羊驼法则
一、概念这个有点玄学，遗传方法论和动量论，原理大概是，首先选择n只收益率高的股票，然后每月在n只里去掉m只最差的，然后再在大盘中选择m只收益率最差的进来二、实现选取沪深300，选择10只股票持有，2只作为调仓，最后回测效果一般（咩，cnm，笑脸），但在股灾区间表现却很亮眼# 导入函数库from jqdata import *# 初始化函数，设定基准等等def initialize(...
2018-10-06 21:30:53
1265
原创 python量化 彼得·林奇PEG策略
一、概念1.EPS(Earnings Per Share)表示每股收益（一般按年计算）:归属于普通股股东的当期净利润当期实际发行在外的普通股加权平均数#公式EPS=归属于普通股股东的当期净利润/当期实际发行在外的普通股加权平均数2.PE（Price to Earning Ratio）表示市盈率，是当前股价（P）相对每股收益（EPS）的比值：#公式PE=P/EPS3.G（Growth...
2018-10-06 20:03:19
1245
原创 python量化 双均线策略（金叉死叉）
#小策略，策略逻辑是在金叉时候买进，死叉时候卖出，所谓金叉死叉是两条均线的交叉，当短期均线上穿长期均线为金叉，反之为死叉#下面是策略代码及结构# 初始化函数def initialize(context): # 设定沪深300作为基准 set_benchmark('000300.XSHG') # True为开启动态复权模式，使用真实价格交易 set_opti...
2018-10-06 17:22:37
18988
4
diffusers-flask-streamlit AIGC文生图代码案例，前端后端代码
2024-03-01
unidic-mecab 字符文件unidic-3.1.0下载
2024-03-01
yolov9 自有数据训练代码参考
2024-03-01
中文语音唤醒模型sherpa-onnx-kws-zipformer-wenetspeech-3.3M-2024-01-01 (C
2024-03-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人