Python总结之(Linux系统Python安装并设置Pyenv和Virtulenv环境)

准备好Linux最小系统即可。 1.需要在Linux上安装git (root下执行) yum install git -y 2.安装python编译依赖 (root下执行) yum -y install gccmake patch gdbm-devel openssl-d...

2019-05-20 13:52:35

阅读数 6

评论数 0

linux设置定时执行任务

在linux下设置一个定时执行任务,首先在任务调度使用的是crontab的任务调度:crontab -e 编辑执行任务,crontab -l 列出用户目前的crontab.基本格式 : *  *  *  *  *  command 分 时 日 月 周 命令 第1列表示分钟1~59 每分钟用*或者 ...

2018-06-21 09:19:56

阅读数 91

评论数 0

python爬虫之如何随机更换User-Agent

python爬虫爬取网站内容时,如果什么也没带,即不带报头headers,往往会被网站管理维护人员认定为机器爬虫。因为,此时python默认的user-agent如Python-urllib/2.1一样。因此,网站管理人员会根据请求的user-agent判定你是不是机器爬虫。所以,此时往往就需要伪...

2018-06-20 15:06:58

阅读数 251

评论数 0

linux常用命令

1,nohup命令    ——Linux命令,表示不挂断地运行命令,常用于当你想要运行一个程序,但是你觉得当你退出账户时,该进程还不会结束,那么此时使用nohup命令就合适不过了。    ——用法如下:nohup python3 文件路径 >> 日志lo...

2018-06-20 10:18:14

阅读数 43

评论数 0

Fiddler工具介绍

Fiddler基础知识Fiddler是强大的抓包工具,它的原理是以web代理服务器的形式进行工作的,使用的代理地址是:127.0.0.1,端口默认为8888,我们也可以通过设置进行修改。代理就是在客户端和服务器之间设置一道关卡,客户端先将请求数据发送出去后,代理服务器会将数据包进行拦截,代理服务器...

2018-06-08 09:01:22

阅读数 380

评论数 0

爬虫实践

#蜘蛛:spiderfrom kgc_demo.items import *class KgcKe(scrapy.Spider): name = 'ke' allowed_domains = ['kgc.cn'] start_urls = ['http://www.kgc....

2018-06-04 17:57:41

阅读数 88

评论数 0

scrapy框架的安装

Scrapy的安装:1. scrapy需要安装第三方库文件,lxml和Twisted2. 下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/根据python的版本和位来下载相应的文件,否则安装不成功。3.下载好文件之后,在DOS命令下pip insta...

2018-05-07 22:02:00

阅读数 106

评论数 0

kafka的运行及原理

什么是kafkakafka是一个开源流处理平台,由java和scala编写。是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。kafka的目的是通过hadoop的并行加载机制来同意线上和离线的消息处理,也是为了通过集群来提供实时的消息。简单的来说,它就是一个消息...

2018-05-07 21:50:57

阅读数 127

评论数 0

kafka的安装使用

kafka版本: kafka_2.11-1.1.0.tgz将kafka解压在opt目录下(opt为hadoop用户下的目录)[html] view plain copytar -zxvf kafka_2.11-1.1.0.tgz  -C opt/  注意,此命令执行条件:我的kafka在hadoo...

2018-05-07 21:49:45

阅读数 72

评论数 0

linux下卸载mysql

一:查找到mysql包    查找命令: rpm -qa | grep -i mysql                二:删除mysql包     接着删除找出的mysql文件。     删除命令:rpm -ev   包名  如果出现错误:依赖检测失...

2018-05-02 08:12:10

阅读数 55

评论数 0

SQL的优化处理

在sql查询中为了提高查询效率,我们常常会采取一些措施对查询语句进行sql优化,下面总结的一些方法,有需要的可以参考参考。1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断...

2018-04-30 12:23:56

阅读数 42

评论数 0

spark与python3的应用

先按照spark和Python3 export SPARK_HOME=/home/hadoop/opt/spark-2.2.1-bin-hadoop2.7 export PATH = $PATH:$HADOOP/bin:$HADOOP/sbin 解压完spark后需要配置环境变量,和h...

2018-04-03 08:53:19

阅读数 1496

评论数 0

Hadoop伪分布式集群搭建

hadoop完全分布式:3个及以上的实体机或者虚拟机组件的机群。hadoop伪分布式:一个节点 看了以上两点相信你已经明白了,“用vm多装几个虚拟机配置完全分布式,然后做实验”这是完全可行的。实际上我们通常也是这么做的,当然可能要求你的电脑cpu和内存足够支撑你这一计划。一点建议:如果你要开发基于...

2018-04-03 07:47:57

阅读数 93

评论数 0

Linux的安装

在搭建hadoop之前我们先准备准备虚拟机软件VM ware,和centOS_7,我们需要在VM上虚拟一个Linux系统,这个系统性的镜像文件就是centOS_7.,这里我使用的VM ware14版本.安装好VM后启动.先创建虚拟机>>&...

2018-03-27 09:57:41

阅读数 57

评论数 0

Linux 文件操作

文件操作一. 绝对路径和相对路径1.路径:    在我们使用计算机时要找到需要的文件的位置,而表示文件的位置的方式就是路径2.绝对路径:   在Linux中,绝对路径从”/”开始.比如/usr丶/ect/passwd.如果一个路径是从跟(/)开始的,它一定是绝对路径.3.相对路径: 相当于当前路...

2018-03-22 22:04:18

阅读数 63

评论数 0

Flask 入门

flask第一个程序讲解:1.fromflask import Flask  #从flask这个框架中导入Flask这个类2.app= Flask(__name__)#实例化一个app对象,需要传递一个参数__name__1. 方便flask框架去寻找资源2. 方便flask插件比如flask-S...

2018-03-21 09:22:28

阅读数 76

评论数 0

django 分页

要实现分页首先要导入一个模块:from django.core.paginator import Paginator然后在views里写一个函数:在welcome.html文件下写:在urls下配好路径,这样就实现分页了,QuerySet(查询集):这里说一下查询集的特点?查询集是一个懒执行val...

2018-03-13 16:45:48

阅读数 75

评论数 0

django Blog上传文件

在富文本添加完之后我们还需要上传文件,上传文件时需要给提交的form表单一个属性enctype属性,enctype有三个值:       1.  application/x-www-form-urlencoded :在发送前编码所有字符(默认)        2. multipart/form...

2018-03-13 16:21:19

阅读数 57

评论数 0

bolg 添加富文本

这里我们使用的百度富文本编辑器,以百度富文本编辑器举例子,百度富文本编辑器是一个编写好的开源框架,先下载一个富文本编辑器:下载好了之后解压放入你的项目的目录的 static的ue下,这样需要配置一个路径在需要使用的页面上引入两js文件。在提交内容款上写上代码:再引入一个js代码就可以了:我们就实现...

2018-03-08 08:27:28

阅读数 114

评论数 1

Django Cookie,session的概述,特点,用法

       浏览器请求服务器是无状态的。无状态指一次用户请求时,浏览器、服务器无法知道之前这个用户做过什么,每次请求都是一次新的请求。无状态的应用层面的原因是:浏览器和服务器之间的通信都遵守HTTP协议。根本原因是:浏览器与服务器是使用Socket套接字进行通信的,服务器将请求结果返回给浏览器之...

2018-03-04 15:15:53

阅读数 115

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭