- 博客(112)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 zip,itertools 元素个数与最短/长的列表一致
itertools模块包含创建高效迭代器的函数，这些函数的返回值不是list，而是iterator（可迭代对象）,可以用各种方式对数据执行循环操作.
2023-04-18 15:19:58
216
1
原创 好玩的pywebio,搭建简单的web页面，超简单
本文demo:http://81.70.49.226:8088/pywebio文档(包含pycharts)：PyWebIO — PyWebIO 1.4.0 文档我想很多人用Python就是用pandas进行数据分析，并且你大概率每天就用到pandas那几个函数处理结构大致相似的数据。每天重复写着同样的代码，很辛苦，于是就会有人想到用Pyinstaller进行打包，但是打包的痛苦，尤其是各种乱七八糟的报错只能说试过的都懂。但你有想过将要打包的功能，做到网页上去吗？这样只要有个...
2021-12-01 15:50:23
6460
6
原创 python打印日志（控制台内容输出）
你是否遇到过这样几个问题：1、获取控制台打印的内容，并且想要保存下来2、代码本来运行的好好的，但是由于新增内容，出现bug,加入了异常处理(try...),把不满足条件的先过滤掉、这时需要查看过滤的内容并且保存文件3、。。。。。。其实打印日志很简单，只需要在你的代码最前面加入短短几行代码就可以轻松搞定。
2021-11-25 09:23:39
4319
2
原创 mysql，postgresql，oracle,hive元数据库等查看表结构信息
我们在查询表结构的时候，从information_schema里面获取，单独语句只能查询部分信息，比如：information_schema.tables 和information_schema.columns 。前者只能获取表相关数据，无法显示字段详信息，后者只能获取字段详细信息，无法获取表以及库的信息。现在将两者结合在一起，获取需要的全部信息本脚本目前只针对mysql和pg库，其他数据库后续会有补充。本脚本可以快速查询你想要的整个数据库的表结构，如图：mysql:注意：脚本需
2021-11-11 16:37:37
3420
原创 csv文件格式入库
mysql版本：大家可能遇到过这样一个情况：给过来一个csv文件，数据量较大时打开费劲，不好转化excel,还容易出错，关键还会遇到文件编码问题这篇文章只用几行简单的代码，解决以上遇到的问题。import pandas as pdimport numpy as npfrom sqlalchemy import create_engineimport timefrom datetime import datetimebegin=time.clock()print('数据开始转换
2021-09-08 10:08:32
350
2
原创 查看MySQL数据库大小的方法总结
进入information_schema 数据库（存放了其他的数据库的信息）mysql> use information_schemaReading table information for completion of table and column namesYou can turn off this feature to get a quicker startup with -ADatabase changed第一种情况：查询所有数据库的总大小，方法如下：mysql> se.
2021-09-02 17:59:24
1730
原创 python 爬取墨迹天气预报（超简单！该代码用于实际生产）
爬取墨迹天气信息用于实际生产（为了展示稍有修改）# -*- coding: UTF-8 -*-# @Time :2021/2/8 9:41# @Author :Liuzheng# @Email :1540234613@qq.comimport pymysqlimport requestsimport jsonimport datetime# from fake_useragent import UserAgentrequests.DEFAULT_RETRIES = 100#增加重
2021-03-18 16:11:08
1429
2
原创 python框架scrapy实现增量爬虫（含redis）
本案例以信用中国武清开放数据为例redis相关知识详见：https://blog.csdn.net/weixin_44675384/article/details/90723634?spm=1001.2014.3001.5501spider部分：import scrapyimport jsonfrom wq_hhb_heimd.items import WqHhbHeimdItemimport redisimport hashlibclass HhbHeimdSpider(scrapy
2021-03-15 18:02:22
510
原创 超简单！批量word文档转pdf格式
-- coding: UTF-8 --@Author :Liuzheng@Email :1540234613@qq.comfrom win32com.client import gencachefrom win32com.client import constants, gencacheimport os#创建PDFdef createPdf(wordPath, pdfPath):“”"word转pdf:param wordPath: word文件路径:param pdfPath:
2020-12-14 14:11:52
649
2
原创 python基础知识整理(持续更新)
"""切片负数开头，结尾均不包含 及 左开右开,留截取相交部分正数 左闭右开 留截取部分"""a='hello world'print(a[::-1])#dlrow ollehprint(a[-8:5])#lo 从后往前数，从前往后截取print(a[0:-8])#hel 从前往后数，从前往后截取print(a[-1:-8:-2])#drwo 从后往前数,步长为2print(a[0:-6])#helloprint(a[-6:7])#wprint(a[2:-6])#llo
2020-09-10 22:07:10
281
原创 巧妙运用python对oracle数据库进行数据分析、数据探查！
本文运用python语言对Oracle数据库进行分析，主要采用sql语句结合业务对数据进行分析结果展示：# -*- coding: UTF-8 -*-import xlrd,xlwtimport pandas as pdimport cx_Oracleimport osos.environ['NLS_LANG']='SIMPLIFIED CHINESE_CHINA.ZHS16GBK...
2020-05-07 20:37:17
1721
原创 一张图弄明白：从零维到十维空间……给大神跪了!
来源：商老师的设计学堂原文链接：https://www.sohu.com/a/116444282_482877本文稍有修改零维▼让我们从一个点开始，和我们几何意义上的点一样，它没有大小、没有维度。它只是被想象出来的、作为标志一个位置的点。它什么也没有，空间、时间通通不存在，这就是零维度。一维空间▼好的，理解了零维之后我们开始一维空间。已经存在了一个点，我们再画一个点。两点之间连一...
2020-03-04 11:30:52
4915
1
原创 全世界都爱看：numpy基础知识必知必会！
```pythonimport numpy as np#创建一个一维数组array1=np.array([1,2,3,4,5])#print(array1)#创建一个二维数组array2=np.array([[1,2,3,4],[4,5,6,7],[5,6,7,8]])print(array2)#查看二维数组结构print(array2.shape)#查看二维数组类型pr...
2020-02-29 17:30:42
293
原创 基于朴素贝叶斯算法的文本评价分析
import pandas as pdimport numpy as npimport jiebaimport matplotlib.pyplot as pltfrom sklearn.feature_extraction.text import CountVectorizerfrom sklearn.naive_bayes import MultinomialNB"""文本评价分类...
2019-07-03 19:41:28
862
原创 基于TensorFlow框架验证码识别分析
项目图例：项目流程：1 读取验证码的数据文件image_batch, label_batch=read_and_decode()2全连接网络模型建立#一层全连接#[100,20803] 权重[20803,426]+偏置[104]=[100,104]y_predict=fc_model(image_batch)#print(y_predict)#Tensor(“model/add:...
2019-07-03 16:44:29
690
1
原创 TensorFlow基础及数据读取
import tensorflow as tf#去警告import osos.environ['TF_CPP_MIN_LOG_LEVEL']='2'"""初始tensor"""#定义一个常量# a=tf.constant(3.0,name='a')# b=tf.constant(3.0,name='b')## ab_sum=tf.add(a,b)# print(a)# ...
2019-07-01 20:58:50
229
原创 基于量化交易回测的金融股票案例基础知识
1量化交易定义量化交易是指以先进的数学模型替代人为的主观判断，利用计算机技术从庞大的历史数 据中海选出能带来超额收益的多种“大概率”事件以制定策略。它极大的降低了市场波动给 投资者情绪带来的影响，避免在市场极度狂热或者悲观的情况下做出非理性的投资决策。2量化交易分类趋势性交易： 适合一些主观交易的高手，用技术性指标作为辅助工具在市场中如鱼得水的，但如果只 用各种技术指标或指标组合作为核心算法...
2019-06-28 20:18:09
1204
原创 基于量化交易回测的金融股票案例分析
本案例涉及到大量金融方面知识，大家可以自行去网上搜寻准备阶段：因子选取很重要，会直接影响量化的结果准确性。这里省去寻找因子过程因子已经提前准备好：context.weights = np.array([ 0.02953221, -0.04920124, -0.10791485, 0.00801783, -0.03613599, 0.1310877 , -0.03030564, 0.4...
2019-06-28 19:20:59
1682
原创 基于线性回归算法房价预测分析
import pandas as pdimport numpy as npimport matplotlib.pyplot as plt#加载数据 sklearn 自带from sklearn.datasets import load_bostonfrom sklearn.model_selection import train_test_splitfrom sklearn.p...
2019-06-27 21:44:21
4594
2
原创 常见机器学习算法及其原理汇总（面试必备）
监督学习与非监督学习监督学习有训练集与测试样本，在训练中找规律，有目标值和特征值非监督学习没有训练集，只有一组数据，在组内寻找数据分类与聚类聚类分析是一种分类的多元统计分析方法。按照个体或样品的特征将它们 分类，使同一类别内的个体具有尽可能高的同质性，而不同类别 之间则应具有尽可能高的异质性。聚类分析在没有训练集的条件下把样本划分若干类，自动标记确定分类分析类是确定的要做的是将每条记录...
2019-06-27 21:41:51
4782
原创 基于逻辑回归算法癌症症状预测分析
逻辑回归介绍逻辑回归（Logistic Regression）是机器学习中的一种分类模型，虽然名字中带有回归， 就是因为它与回归之间有一定的联系。由于算法的简单和高效，在实际中应用非常广泛。逻辑回归应用场景##3 * 广告点击率 * 是否为垃圾邮件 * 是否患病 * 金融诈骗 * 虚假账号 通过上面的应用，我们可以发现其中的特点，那就是都属于两个类别之间的判断。逻辑回归 就是解决二分类问题的...
2019-06-27 19:55:13
2192
4
原创 基于朴素贝叶斯算法及案例分析
import pandas as pdimport numpy as npimport jiebaimport matplotlib.pyplot as pltfrom sklearn.feature_extraction.text import CountVectorizerfrom sklearn.naive_bayes import MultinomialNB"""文本评...
2019-06-26 21:07:13
1899
原创 k-近邻算法自实现和sklearn方法
自实现 import pandas as pd import numpy as np import matplotlib.pyplot as plt from sklearn.neighbors import KNeighborsClassifier"""电影分类数据类型分析 方法自实现k-近邻方法"""#加载数据move=pd.read_excel('./电影分类数据....
2019-06-25 20:34:12
341
原创 超简单快速排序源码
def quicksort(nums): if len(nums)<=1: return nums #定义一个左列表 left=[] #定义一个右列表 right=[] #定义一个基准值 base=nums.pop() #循环遍历原数组 for i in nums: if i<bas...
2019-06-22 17:01:39
902
原创 某连锁超市数据分析
#某超市连锁分析order=pd.read_csv('./order-14.3.csv',encoding='gbk')# print(order.columns)#数据处理，去重#这里去掉销量为负值的行a=order['销量']>0data=order.loc[a,:]#取出销量大于0的行对应的所有列#1哪些类别比较畅销#对类别进行分组，之后对销量进行排序# xiao=d...
2019-06-20 20:50:51
3687
2
原创 pandas基础及操作
import pandas as pdimport numpy as np#加载数据detail=pd.read_excel('./meal_order_detail.xlsx')# print(detail.columns)#pandas 数据分析# print(detail['amounts'].max())# print(detail['amounts'].min())#...
2019-06-19 20:56:27
1248
原创 numpy矩阵与通用函数
Numpy是用于数据科学计算的基础，不但能够完成科学计算任务，还能被用作高效地多维数据容器。用于存储和处理大型矩阵。Python提供了一个array模块，和list不同，它直接保存数值，但是由于Python 的array模块不支持多维，也没有各种运算函数。Numpy 弥补了这一遗憾。Numpy提供了一种存储单一数据类型的多维数组——ndarrayimport numpy as n#创...
2019-06-14 21:20:20
1408
原创 numpy数组类型及属性
# arr=np.array([[1,2,3],[4,5,6],[7,8,9]])# print('arr',arr)# print('arr维度',arr.ndim)# print('arr大小',arr.size)# print('arr形状',arr.shape)# print('arr类型',arr.dtype)# print('arr元素大小',arr.itemsize)...
2019-06-13 21:02:36
2222
原创 Tornado入门与实践（包含接口小项目）
使用pip安装：pip install tornado验证是否安装成功，输出tornado的版本号克隆Tornado的源代码先注册一个api的管理工具Api的管理工具：https://apizza.net/pro/#/注册完然后登陆进去：点击右上角新建项目建议直接下载apizzaTornado构建RESTful应用1什么是RESTful全称：Representational...
2019-06-12 20:52:09
2095
原创 MongoDB操作及其相关指令
一、NoSQL简介NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。在现代的计算系统上每天网络上都会产生庞大的数据量。这些数据有很大一部分是由关系数据库管理系统（RDMBSs）来处理。 1970年 E.F.Codd’s提出的关系模型的论文 “A relational model of data for large shared data banks”，这使得数...
2019-06-10 19:15:12
1695
原创 nginx操作与部署
一、安装python需要的依赖包yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-develgcc make二、python解释器安装1．下载python解释器wget https://www.python.org/ftp/python/3.6.2/...
2019-06-10 18:59:25
1313
原创 Git指令及其操作
1创建一个空目录：mkdir2显示当前目录路径：pwd3把当前目录变成可以管理的git仓库： git init4把文件添加到暂缓区：git add ./git add xx5提交文件：git commit -m ‘描述’6查看仓库状态：git status7查看xx 文件修改了哪些内容：git diff xx8查看历史记录：git log9返回上个版本：git reset --h...
2019-06-03 18:59:58
1286
原创 爬虫：链家房产租房信息深度爬取（运用redis和mysql）
import redis import requests from lxml import etree from fake_useragent import UserAgent import re import pymysqlclass CityArea: def __init__(self): # 初始化redis连接 ...
2019-05-31 22:24:42
1479
原创 银行家算法：原理
银行家算法原理银行家算法是避免死锁的一种重要方法。 操作系统按照银行家制定的规则为线程分配资源，当线程首次申请资源时，要测试该线程对资源的最大需求量，如果系统现存的资源可以满足它的最大需求量则按当前的申请量分配资源，否则就推迟分配。当线程在执行中继续申请资源时，先测试该线程已占用的资源数与本次申请的资源数之和是否超过了该线程对资源的最大需求量。若超过则拒绝分配资源，若没有超过则再测试系统现存的资...
2019-05-31 22:17:14
6598
1
原创 进程、线程：多线程开发可能遇到的问题及其解决方法
线程的几种状态：线程原理小结：1.每一个线程一定会有一个名字，如果用户没有指定名字，系统会为线程指定一个名字（Thread-1/2/3…）。2.当线程的run方法结束的时候该线程完成任务。3.我们程序员无法控制线程调试的顺序。CPU根据当时的状态自行决定。4.线程的几种状态。线程间的变量共享执行结果分析：其中的一种，其他可自行分析。in work2,g_num=102 此时...
2019-05-31 22:12:59
3175
原创 redis：基础知识及其操作指令
Redis环境配置下载安装地址: https://github.com/MicrosoftArchive/redis/releases解压文件到指定的目录，D:\ChromeCoreDownloads\Redis-x64-3.2.100（根据自己情况定）将该目录加入到环境变量中 ：计算机—属性—高级系统设置—高级—环境变量—找到path，在末尾添加再打开cmd输入redis-ser...
2019-05-31 22:01:48
1208
原创 爬虫：深度爬取网易云音乐所有歌手及其对应热门歌曲
先根据分类，从字母搜索import requestsfrom lxml import etreefrom fake_useragent import UserAgentclass Music: def __init__(self): self.count = 1 def __call__(self, *args, **kwargs): ...
2019-05-30 09:27:40
3105
原创 爬虫:爬取糗事百科数据
import requestsfrom lxml import etreefrom fake_useragent import UserAgentclass Qiu: def __init__(self): self.count = 1 def __call__(self, *args, **kwargs): self.get_max...
2019-05-28 09:34:22
1357
原创 爬取猫眼电影首页榜单电影信息
import requests,reclass Mao(object): def __call__(self, *args, **kwargs):#类的对象当做函数使用的时候触发 self.run() def run(self): #获取猫眼的HTML信息 base_url='https://maoyan.com/board...
2019-05-27 14:00:21
1740
数据标准规范代码集（各个地区10000+）
2024-04-02
2023最新数据库系统工程师知识点整理（包含上午试题和下午部分试题内容，资源持续更新中）
2023-06-08
python 基础面试常见汇总
2023-01-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人