- 博客(30)
- 收藏
- 关注
RSS订阅原创 Django+Nginx+uWSGI生产环境部署
1.环境准备# 已安装环境python 3.7Nginx 1.20.1Django 2.2.32.待部署项目# 创建项目django-admin startproject blog-admin# 安装uwsgipip install uwsgi==2.0.153. 编辑uwsgi.ini文件[uwsgi]# 项目目录chdir = /home/web/blog-admin/blog_admin# 指定IP端口http = 0.0.0.0:8000#
2022-03-16 16:23:48
3288
原创 Tesseract-OCR如何识别pdf文件中的文本内容？
需求：最近公司产品提出一个需求，要爬取某网站的数据列表中，进入某条数据的pdf文件中，提取出对应的关键字出来。 解决： 将pdf文件中每页图片保存下来。 pdf文件中的内容是个图片，不能直接转换成文字。 根据产品需求，指定提取相关内容，并保存。 总结：通过调研，可以使用python的pytesseract库来完成相关pdf的文字提取。pdf图片保存和文字内容匹配暂不介绍，主要介绍下pytesseract的使用。01 python-tessera...
2021-11-15 10:51:26
2995
2
原创 django rest framwork用户权限设计和Authentication用户认证？
为什么要在业务中实现用户权限管理？在B/S系统中，浏览器是每一台计算机都已具备的，如果不建立一个完整的权限检测，那么一个"非法用户"很可能通过浏览器轻易访问到B/S系统中的所有功能。因此B/S系统业务中都需要一个或多个权限系统来实现访问权限检测，让经过授权的用户可以正常合法的使用已授权功能，而对那些未授权的“非法用户”会将他们彻底的“拒之门外”。01 需求陈述 不同职责的人，对于系统操作权限是不同的。 根据“组”进行权限分配，将权限一致的人员编入同一组，然后对改组进行...
2021-10-22 10:10:54
965
原创 python—武汉市2021年新房数据分析
最近看了国家统计局发布的（2021年8月份70个大中城市商品住宅销售价格变动情况），看到武汉新房各类面积对应上月的环比价格又提升了，于是使用python盘了某家平台上的新房数据。将武汉13个区的新房的均价、面积、数量等用echarts制作了对应统计图，进行相关的数据分析。数据源比较单一，可以作为学习使用。准备 测试数据 pyecharts（或者echarts）相关使用 01快速开始由于统计图制作比较简单，就不上所有示例代码了，如果不太了解echarts的...
2021-09-19 10:57:16
20278
原创 Django+微信公众号开发小项目
最近搞了点事情，因为web.py对微信公众号开发时不方便扩展和复用，使用Django开发微信公众号。使用celery推送模板消息到用户微信上，最终方便以后重复利用和功能增加。01 准备 python3环境 微信公众号 可用域名 Mysql数据库 redis数据库 02公众号配置管理员在微信公众号中的基本配置中需要获取开发者 AppID 和 AppSecret 两个值，并保存下来。获取 AppSecret 的值...
2021-09-15 23:04:42
8569
3
原创 超好用的Pymysql对mysql数据库的增删改查！
在开发中经常要用到mysql数据库的增删改查操作，每次都在重新连接、重新执行、重新关闭吗？代码不是一次性使用的，接下来将告诉你，有些代码是只用写一遍，以后直接拿过来用的。pymysql、configparser安装# pymysql安装pip install pymysql -i http://pypi.douban.com/simpleconfigparser用来读取配置文件# configparser安装pip install configparser -i h...
2021-09-11 14:52:52
4677
原创 python抓取手机APP数据包及app配置
下载夜神模拟器夜神模拟器下载地址：https://www.yeshen.com/cn/download/fullPackage 2. 下载fiddler抓包工具设置fiddler抓包工具配置，找到头部的Tools，点击options，如图：选择https，按照图中勾选，配置；3. 修改夜深模拟器配置选择格式化和unicode转中文即可。...
2020-06-23 17:48:04
739
原创 python打包flask服务成exe文件，快速注册成windows服务
由于相关业务问题，需要在windows环境中开启多个flask服务，为了方便管理各个flask服务，需要进行注册成windows服务，在windows服务中进行自动开启状态。下面将分享在实际过程中的方法，避免小伙伴们遇到同样的问题。1.准备工作python环境：3.6.8windows环境：windows10安装相关包如下，准备打包python代码# 1.安装flask框架pip install flask# 2.安装pyinstaller包pip install p...
2020-05-20 21:43:37
4317
原创 python爬虫使用flask制作API
1.编写爬虫import requestsclass TestFlaskApi: def __init__(self): self.url = 'http://127.0.0.1:1688/' # flask设置的本地地址和端口 # 此处的self.headers可以省略，本地不用设置 self.headers = {'us...
2019-10-24 14:08:10
562
原创 bootstrap页面排版和栅格处理
1.下载编译后的bootstrap导入css和js，导入jQuery要在bootstrap.min.js上；<meta charset="utf-8" /><meta http-equiv="X-UA-Compatible" content="IE=edge"><meta name="viewport" content="width=dev
2019-01-14 17:49:51
680
原创 python中常见的Error的例子
TypeError:类型错误AttributeError: no module '' has no attribute ''NameError: name '' is not defindNoduleNotFoundError: no mudul name ''ImportErrot:导入错误
2018-06-18 18:49:11
786
1
原创 爬虫基础——urllib库
# 使用 urllib# 导入必要模块from urllib import request# 如果需要 URL转码from urllib import parseprint(parse.quote('范冰冰'))%E8%8C%83%E5%86%B0%E5%86%B0# urlopenurl = 'http://image.baidu.com/search/index?tn=baidui...
2018-05-13 14:10:02
220
原创 数据整理
数据分析之数据整理1, 数据表合并与空值处理2, 重复值与异常值处理3, 增加与修改列4, 数据采样与描述性统计#准备 pyspark 环境from pyspark import SparkContext,SparkConffrom pyspark.sql import SparkSession,Row#创建应用程序实例和会话spark = SparkSession.build...
2018-05-13 14:06:23
396
原创 数据可视化
#准备 pyspark 环境from pyspark import SparkContext,SparkConffrom pyspark.sql import SparkSession,Rowfrom pyspark.sql import functions as func#创建应用程序实例和会话spark = SparkSession.builder\ .maste...
2018-05-13 13:58:19
421
原创 spark sql
# 航班数据分析实战# 1, 查看航班信息Schema# 2, 提取关注字段, 做航班信息简明情况报表# 3, 指定日期, 查询航班信息简报# 4, 分组查询, 按航班号分组, 查询延迟次数# 5, 分组查询, 按目的地机场分组, 查询延迟次数# 6, 聚合查询, 查询某天某机场到达航班总数量# 7, 聚合查询, 查询某天某机场到达航班平均延迟时间# 8, 分组聚合, 查询某机场...
2018-05-13 13:45:40
238
原创 RDD
#使用文本文件做数据源sc = SparkContext.getOrCreate(conf)rows = sc.textFile("file:///Users/chuzhengkai/Desktop/test.txt")print(rows.first())print(rows.take(2))print(rows.count())print(rows.top(2))sc.stop(...
2018-05-13 13:42:40
224
原创 对爬虫的简单了解
1.爬虫有什么作用？ 鞋店老板需要了解竞争对手的价格，可以通过爬虫每天访问他们价格，也自己店商品进行比较2.爬虫是否合法？ 当抓取的数据是现实生活中的真实数据（比如，营业地址、电话清单），是允许转载的，但是，如果是原创数据（比如，意见和评论），通常会受到限制，而不能转载。3.robots.txt文件 多数网页都会定义 robots.txt文件，检查rob...
2018-04-18 21:45:31
424
原创 MapReduce、python3.6、spark
1.启动服务：start-dfs.sh start-yarn.sh2.在hadoop文件夹下创建 data1.txt文本3.vi data1.txt 保存退出4.cat data1.txt5.hadoop fs -mkdir -p /user/hadoop (-p：创建多级目录)出现这个情况 需要去 hadoop-2.9.0/bin目录下执行：hadoop dfsadmin -safe...
2018-04-17 22:37:36
473
原创 搭建hadoop集群
第一次1.创建 hadoop用户 （此时在home里面以存在hadoop文件夹）配置JAVA环境切换成hadoop用户执行以下操作： 解压安装包 1.在hadoop文件夹里面创建 opt文件夹 mkdir opt 2.将压缩包移动到hadoop文件夹里与opt属于同一级目录 3.解压压缩包 4.tar -xzfx jdk-8u152-linux-x64.tar.gz opt...
2018-04-15 12:01:40
337
转载 http请求出现的问题
1. 1开头的http状态码表示临时响应并需要请求者继续执行操作的状态代码。100 （继续） 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分，正在等待其余部分。 101 （切换协议） 请求者已要求服务器切换协议，服务器已确认并准备切换。2开头的http状态码表示请求成功200 成功处理了请求，一般情况下都是返回此状态码； 201 请求成功并且服务器创建...
2018-04-04 22:08:21
597
原创 python中os模块
os 模块在运维工作中是很常用的一个模块。通过os模块调用系统命令；os模块可以跨平台使用在 import os的时候，建议使用import os而非from os import *。这样可以避免os.open()不会覆盖内置函数open()os.name()判断系统类型import osprint(os.name) #linux和Unix系统会返回`posix`;windows 系统...
2018-03-15 11:46:57
224
原创 mysql中行转列、列转行
行转列创建`text_`表CREATE TABLE `text_`( id INT(10) NOT NULL AUTO_INCREMENT PRIMARY KEY, usename VARCHAR(20) DEFAULT NULL, course VARCHAR(20) DEFAULT NULL, score FLOAT DEFAULT '0')向表中添加数据：INSERT INTO t...
2018-03-12 21:51:10
461
原创 mysql中事务、视图、索引、备份和恢复
1.事务的四个属性，简称ACID属性 原子性：事务是一个完整的操作，事务的各部操作是不可分的（原子性的），要么都执行，要么都不执行 一致性：当事务完成时，数据必须处于一致状态 隔离性：并发事务之间彼此隔离、独立，它不应该以任何方式依赖于或影响其他事务 持久性：事务完成之后，它对数据库的修改被永久保持2.如何创建事务开始事务BING；或start transaction...
2018-03-11 18:16:15
654
原创 MySQL中DML和DQL
DML语句 1. 插入单条数据记录 insert into 表名[字段名列表]values(列表值)；列：insert intostudent(loginpwd,studentname,grade,phone,borndata)values(123,黄小平,1,139587456,1995-02-03); 插入多条数据记录insert into subject(subjectn...
2018-03-10 19:57:39
322
原创 Python中函数的闭包
什么是闭包？ 内部函数对外部函数作用域里对象的引用（非全局变量），则称内部为闭包。 一个闭包就是你调用了外部函数，外部函数返回内部函数，此时的内部函数称为闭包函数。 闭包在运行时可以有多个实例，不同的引用环境和相同的函数组合可以产生不同的组合。def A(): def B(): return 10 return Bprint(A()())结果：1...
2018-02-25 17:54:32
523
原创 Python中类和对象的实际应用
1.DVD管理系统class dvd: def __init__(self,name,price,state): self.name=name; self.price=price self.state=state def __str__(self): stat='已借出'; if self.
2018-02-05 20:51:48
1196
原创 Python中的类和对象
1.类 类：具有相同属性和方法的对象的集合； 对象：万物皆对象；语法：class 类名： 属性 方法定义一个类：class Preson: def eat(self): print("正在吃饭")； def sleep(self): print("正在睡觉")类的命名 首字母大写 ...
2018-01-27 21:26:05
3391
原创 Python中的函数
函数1.函数是组织好的，可重复使用的，用来实现单一，或相关联动功能的代码段2.语法：def 函数名（参数列表）： 函数体 reture xxxdef fn1(a,b): sum=a+b; print(sum);fn1(1,2);>>> 3def fn1(a,b): print("函数内部：",a+b
2018-01-23 13:34:45
4627
原创 Python中的循环
循环1. while循环while 判断条件: 循环体;例：1.输出1-100的偶数和；i=1;num=0;while i < = 100: if i%2==0: num+=i; i+=1;print(num); <<< 25502.输出1-100的奇数和；i=
2018-01-15 21:59:49
488
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人