- 博客(63)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python实现京东单个商品信息抓取(标题，品牌（中/英文），图片，型号，价格，详情)
【代码】python实现京东单个商品信息抓取(标题，品牌（中/英文），图片，型号，价格，详情)
2020-11-23 12:00:14
2132
5
原创 deepin 安装mysqlclent ERROR: Command errored out with exit status 1: python setup.py egg_info Check th
缺少软件包的原因解决办法sudo apt-get install libmariadb-dev*
2020-07-21 14:24:25
299
原创 deepin-wine
配置deepin-wine# 直接用vim新建一个desktopsudo vim /usr/share/applications/Deepin-wine.desktop# 按 i 进入输入模式i# 粘贴以下内容[Desktop Entry]Name=Deepin-wineExec=deepin-wine %FType=ApplicationMimeType=text/plain;# 按 : 并输入wq 回车 保存退出:wq找到事先下载好的PxCook_v3.9.972_bu
2020-07-20 13:59:06
1074
原创 flask 做微信公众号验证token的错误TypeError: Unicode-objects must be encoded before hashing
#wechat.pyfrom flask import Flask,request,make_responseimport hashlibapp = Flask(__name__)@app.route('/wechat8000')def wechat(): #设置token token = 'python' #获取参数 data = request.a...
2019-12-28 01:22:36
325
原创 分布式图片服务器FastDFS安装和使用
什么是FastDFSFastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker ...
2019-12-09 22:01:41
124
原创 vue.js生命周期
1.beforeCreate()// 这是我们遇到的第一个生命周期函数，表示实例完全被创建出来之前，会执行它// console.log(this.msg)// this.show()// 注意： 在 beforeCreate 生命周期函数执行的时候，data 和 methods 中的 数据都还没有没初始化2.created()// 这是遇到的第二个生命周期函数// console....
2019-12-09 22:01:02
105
原创 deepin/ubuntu下安装mysqlclient ERROR: Command errored out with exit status 1: python setup.py egg_info
这是因为缺少libmysqlclient-dev依赖，如果直接安装libmysqlclient-dev会报错sudo apt-get install libmysqlclient-devE: 软件包 libmysqlclient-dev 没有可安装候选解决办法：sudo apt-get install default-libmysqlclient-devpip install mysql...
2019-10-27 21:19:54
951
原创 ubuntu/deepin 安装python3.8
一.下载安装包wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tar.xz二.解压文件tar -xvJf Python-3.8.0a1.tar.xzcd Python-3.8.0a1三.安装依赖apt-get install libffi-dev四.编译安装./configure --enable-opt...
2019-10-26 23:32:08
7097
3
原创 django setting配置
"""Django settings for imooc project.Generated by 'django-admin startproject' using Django 1.11.For more information on this file, seehttps://docs.djangoproject.com/en/1.11/topics/settings/For...
2019-10-02 22:05:03
136
原创 改善 Python 程序的 91 个建议
建议1、理解Pythonic概念—-详见Python中的《Python之禅》建议2、编写Pythonic代码（1）避免不规范代码，比如只用大小写区分变量、使用容易混淆的变量名、害怕过长变量名等。有时候长的变量名会使代码更加具有可读性。（2）深入学习Python相关知识，比如语言特性、库特性等，比如Python演变过程等。深入学习一两个业内公认的Pythonic的代码库，比如Flask等...
2019-07-30 10:52:10
122
原创 利用 MySQL 攻破数据库性能瓶颈
在实际工作中，我面对很多用户会经常碰到一个问题，那就是在使用 MySQL 时，执行一条语句需要很长时间返回，这是为什么呢？当你在使用 MySQL 中，当发现一些性能问题的时，比如执行一个语句要很长时间才返回结果，我们称之为慢查询，一般来说，发生慢查询的原因有：你的索引设计有问题，可能会导致每次执行语句都是全表扫描，这样很耗费时间；你的 SQL 语句没有写好，可能会导致查询时间变长；My...
2019-07-30 10:46:57
178
原创 python优化
很多人抱怨说自己写的Python代码跑的慢，尤其是当处理的数据集比较大的时候，其实稍微改动几行代码就可以让你的代码性能提高好几倍，不信一起来看下面这个5个小技巧。1.for 循环我们大部分的时候代码里面都有for循环，然后里面嵌套一段逻辑处理，下面有两种方法来完成:二者的性能差距有多大呢，一般我们用内置的timeit模块来量化比较:把传统的for改成推导...
2019-07-30 10:44:06
221
原创 Redis过期策略 内存淘汰机制
1. 往 redis 写入的数据怎么没了？可能有同学会遇到，在生产环境的 redis 经常会丢掉一些数据，写进去了，过一会儿可能就没了。我的天，同学，你问这个问题就说明 redis 你就没用对啊。redis 是缓存，你给当存储了是吧？啥叫缓存？用内存当缓存。内存是无限的吗，内存是很宝贵而且是有限的，磁盘是廉价而且是大量的。可能一台机器就几十个 G 的内存，但是可以有几个 T 的...
2019-07-30 10:39:52
193
原创 Python 中的super函数是如何实现继承的
Py 2.x 和 Py 3.x 中有一个很大的区别就是类，无论是类的定义还是类的继承。Py 3.x 中类的继承可以直接使用 super 关键字代替原来的 super(Class, self)。那么 super 到底是依据什么来继承的呢？今天就来分析下。super函数根据传进去的两个参数具体作用如下：通过第一参数传进去的类名确定当前在MRO中的哪个位置。MRO(Method Resolu...
2019-07-30 10:35:39
184
原创 从0到1构建链路监控系统
链路监控的核心是建立多个日志的连接，今天我们从服务端与客户端两个方面，一起构建链路监控系统。<1>服务端链路日志1.入口层记录nginx日志●客户端调用接口名称以及其相关信息（request time，bodySent等等）。●入口idc标记。●用户唯一标记（uid）。●会话sessionID，这个ID是用来标记一个请求链路的唯一标记。...
2019-07-30 09:53:37
195
转载 140种Python标准库、第三方库和外部工具
导读：Python数据工具箱涵盖从数据源到数据可视化的完整流程中涉及到的常用库、函数和外部工具。其中既有Python内置函数和标准库，又有第三方库和工具。这些库可用于文件读写、网络抓取和解析、数据连接、数清洗转换、数据计算和统计分析、图像和视频处理、音频处理、数据挖掘/机器学习/深度学习、数据可视化、交互学习和集成开发以及其他Python协同数据工作工具。为了区分不同...
2019-07-30 09:48:58
598
原创 PPython，一种从根本上将 PHP 与 Python 有效结合的技术
Python 与 PHP 都是广泛使用的语言，各有所长，让人期待两者结合可以实现更丰富的效果。在 PHP 中调用 Python 实现某些处理，这种需求虽然比较小众，还是实用的。目前网上可以查到很多资料仍在探讨 exec()（也包括 system()、shell_exec()、passthru() 等）执行外部的 Python 文件，但这只是一种通用的方式，调用成本比较高，在每次调用时，需要装载...
2019-07-29 14:03:58
2019
原创 MySQL数据库十大经典错误案例
我在刚开始学习数据库的时候，没少走弯路。经常会遇到各种稀奇古怪的 error 信息，遇到报错会很慌张，急需一个解决问题的办法。跟无头苍蝇一样，会不加思索地把错误粘到百度上，希望赶紧查找一下有没有好的处理问题的方法。我想这个应该是刚从事数据库的小白，都会遇到窘境。今天就给大家列举 MySQL 数据库中，最经典的十大错误案例，并附有处理问题的解决思路和方法，希望能给刚入行，或数据库爱好者一些帮助，...
2019-07-26 15:19:39
902
原创 Python学习分享 学习Python的10个技巧
Python是最广泛和最通用的编程语言之一。它也是最受欢迎的初学者之一，在世界各地的学校中可以说是最广泛教授的语言。如果你对编程或编码感兴趣，你可能会考虑尝试学习Python，我会说这是一个好主意！但是，学习Python并不是一件有趣的游戏。首先，找到在线学习Python的最佳方法本身很难。有数以千计的不同课程和教程，都声称是最好的。考虑到这一点，我已经列出了我学习Python的十大技巧列表。...
2019-07-26 15:16:54
358
原创 Django2.2一出生就自带光环，离不开那个可用的后台 admin
若要说Django强大的地方，除了框架应用简单，一系列第3方插件外，就是其自带的后台了。有动态数据的系统，都有后台来管理的，因为不是每个人都是会打开数据库管理工具并懂得用Sql操作的。1既然都需后台，如果框架自己带上的话，对开发人员来说，那可是大大的福利呀。所以Django就这么做了，所以我们就喜欢用它来开发Web系统了。别的就不多说了，赶快操作起来，找个你喜欢的磁盘目录。运行...
2019-07-26 15:14:29
422
原创 Linux基础知识
现在几乎所有的互联网的应用都部署在Linux的服务器上面了，Linux生态丰富、环境稳定，最重要的是，相对于Windows，Linux是免费的，要想，大型互联网公司都有几百万台服务器，要是用Windows系统，要付给微软一大笔授权费。所以，省钱，是Linux能够这么流行的最大推动力。今天我们来聊一聊Linux的文件结构与一些基本的文件命令。在Linux里面根目录为/，我们可以...
2019-07-26 15:11:52
112
原创 如何在 Linux 中查找服务的端口号
由于某些原因，你可能经常需要查找端口名称和端口号。如果是这样，你很幸运。今天，在这个简短的教程中，我们将看到在 Linux 系统中最简单、最快捷的查找服务端口号的方法。可能有很多方法可以做到，但我目前只知道以下三种方法。请继续阅读。在 Linux 中查找服务的端口号方法1：使用 grep 命令要使用grep命令在 Linux 中查找指定服务的默认端口号，只需运行：\$ grep...
2019-07-26 15:08:24
1998
原创 其实Redis实现消息队列比MSMQ更方便！
什么是队列：简单的说就是数据存储到一个空间里（可以是内存，也可以是物理文件），先存储的数据对象，先被取出来，这与堆栈正好相反，消息队列也是这样，将可能出现高并发的数据进行队列存储，并按着入队的顺序依次处理，实现消息队列的工具有很多，如微软的MSMQ，及一些开源的KV存储工具，今天主要介绍用Redis实现消息队列。这是我的redis项目结构打开网易新闻 查看更多精彩图片redi...
2019-07-26 15:05:07
118
原创 HTTP协议的交互过程及请求详解
HTTP的交互流程简单来讲就是客户端与服务器端的通信，包括客户端对服务器端的请求以及服务器端对客户端的响应。首先客户端与服务器端建立一个连接，三次握手经历完成之后才能建立一个稳定可靠的连接。这里用到JavaSE在网络阶段的基本知识：“三次握手”。第一次握手：客户端给服务器端发送一个syn的标志位；服务器端接收到syn后会返回一个ack(相当于一个回调的机制)，同时还有一个服务...
2019-07-26 15:02:03
10072
原创 干货：MySQL性能优化，in和exists
in和exists哪个性能更优sql脚本：上面的sql中 订单表中（orders） 存在user_id，而又有用户表（users），所以我们用orders表中user_id和user表中的id 来in 和 exists。架构圈子:142019080结果1.where后面是小表（1）select count(1) from orders o where o.user_i...
2019-07-26 14:58:44
101
原创 如何批量Ping 1000个IP地址，一个小技巧节约N小时？
一、批量ping网段对于一个网段ip地址众多，如果单个检测实在麻烦，那么我们可以直接批量ping网段检测，那个ip地址出了问题，一目了然。先看代码，直接在命令行窗口输入：for /L %D in (1,1,255) do ping 10.168.1.%DIP地址段修改成你要检查的IP地址段。当输入批量命令后，那么它就自动把网段内所有的ip地址都ping完为止。那么...
2019-07-26 14:55:14
12785
转载 celery详解
在学习Celery之前，我先简单的去了解了一下什么是生产者消费者模式。生产者消费者模式在实际的软件开发过程中，经常会碰到如下场景：某个模块负责产生数据，这些数据由另一个模块来负责处理（此处的模块是广义的，可以是类、函数、线程、进程等）。产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为消费者。单单抽象出生产者和消费者，还够不上是生产者消费者模式。该模式还需要有一个缓冲区处于生...
2019-07-23 11:34:17
459
2
原创 python发送邮件
使用smtp发送邮箱#!/usr/bin/python# -*- coding: UTF-8 -*-import smtplibfrom email.mime.text import MIMETextfrom email.header import Header# 第三方 SMTP 服务mail_host = "smtp.qq.com" # 设置服务器mail_user = ...
2019-07-19 09:30:58
385
原创 通过进程id获取进程状态(psutil模块)
# 安装 $ pip install psutil# 获取所有进程列表p = psutil.pids()#判断2350在不在列表中print(2350 in p)psutil相关使用：获取CPU信息我们先来获取CPU的信息：>>> import psutil>>> psutil.cpu_count() # CPU逻辑数量4>>...
2019-07-17 17:45:26
2899
原创 mysql通过多实例演示主从复制
mysql 支持单向，双向，链式级别，实时，异步复制。在复制过程中，一台服务器充当主服务器（Master）,另一台服务器充当从服务器（slave）
2019-07-10 01:11:37
123
原创 mysql TRANCATE和DELETE的区别
TRANCATE table：更快，清空物理文件DELETE FROM table:逻辑删除，按行删除
2019-07-09 17:57:45
670
原创 centos6 MySQL5.7多实例安装
1.下载安装包http://mirrors.sohu.com/mysql/MySQL-5.7/或者百度网盘链接：https://pan.baidu.com/s/1l4TDRowDJOXSXWmIzmD8X提取码：tw29 Q2、解压到/opt下[root@bogon opt]# tar xvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz[ro...
2019-07-09 11:03:31
320
原创 Django 批量将.py转为.pyc文件
批量将.py转为.pyc文件一、什么是pyc文件：二、目的：三、使用：四、批量编译方法及其代码呈现（可批量编译Django）:**使用说明**1.备份源码2.生成.pyc文件，并删除源文件3.将.pyc文件移动到原py文件目录下4.根据文件.pyc中所带的版本标识去掉.pyc文件名中的版本号一、什么是pyc文件：pyc是一种二进制文件，是由py文件经过编译后，生成的文件，是一种byte cod...
2019-06-13 11:44:07
1478
原创 windows10 python virtualenv虚拟环境搭建及其使用
1.首先安装python解释器和 pip 略过2.安装virtualenv和 virtualenvwrapper-winpip install virtualenvpip install virtualenvwrapper-win3.指定虚拟环境的python版本，以及虚拟环境名称virtualenv -p python环境的安装路径 虚拟环境名称virtualenv -p c...
2019-06-09 10:14:31
177
原创 Django安装，创建及其目录结构
安装django并指定版本pip install django==1.8.2创建项目django-admin startproject web创建应用python mange.py startapp book目录结构.├── book #应用的目录│ ├── admin.py #网站后台管理的文件│ ├── init.py #说明目录是一个python3模...
2019-06-05 23:46:11
252
原创 ubuntu/deepin Python 虚拟环境安装及其使用
安装pipsudo apt-get install python-pip安装virtualenv , virtualenvwrappersudo pip install virtualenvsudo pip install virtualenvwrapper建目录用来存放虚拟环境mkdir $HOME/.virtualenv打开~/.bashrc文件，并添加如下：export...
2019-06-05 22:41:29
834
原创 deepin 安装mysql 及其密码找回（ERROR 1698 (28000): Access denied for user 'root'@'localhost'）
首先安装服务端和客户端安装服务端：sudo apt-get install mysql-server安装客户端：sudo apt-get install mysql-client然后麻烦来了（找不到密码然后报1698错误）mysql -uroot -p解决：切换到超级管理员查看一下user表，错误的起因就是在这里， root的plugin被修改成了auth_socket，用密码登...
2019-06-03 23:57:38
583
原创 centos7安装python3
centos7 默认使用python2.7安装python3 步骤1.下载python3wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0a1.tar.xz2.解压文件并进入到目录tar -xvJf Python-3.8.0a1.tar.xzcd Python-3.8.0a13.安装python3 所需要的依赖y...
2019-04-18 00:54:06
125
原创 python数据分析面试题
数据分析编程题1.一家超市的顾客数据，将数据可视化并分析销售额和年龄、收入的关系并给出营销建议年龄 收入 销售额34 350 12340 450 11437 169 13530 189 13944 183 11736 80 12132 166 13326 120 14032 75 13336 40 133答案: import ma...
2019-04-02 22:11:14
19468
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人