- 博客(13)
- 收藏
- 关注
RSS订阅原创 python Flask web 框架 (十六)
01-01 初识Flask1 什么是flask?Flask 本是作者 Armin Ronacher在2010年4月1日的一个愚人节玩笑 ，不过后来大受欢迎，进而成为一个正式的python编写的web框架Flask是一个Python编写的Web 微框架，让我们可以使用Python语言快速实现一个网站或Web服务，在介绍Flask之前首先来聊下它和Django的联系以及区别，django个大而全的web框架，它内置许多模块，flask是一个小而精的轻量级框架，Django功能大而全，Flask只包含基本的
2020-11-30 14:31:02
524
1
原创 python 爬虫基础Selenium (十五)
一、Selenium+Python环境搭建及配置1.1 selenium 介绍selenium 是一个 web 的自动化测试工具，不少学习功能自动化的同学开始首选 selenium ，因为它相比 QTP 有诸多有点：免费，也不用再为破解 QTP 而大伤脑筋小巧，对于不同的语言它只是一个包而已，而 QTP 需要下载安装1个多 G 的程序。这也是最重要的一点，不管你以前更熟悉 C、 java、ruby、python、或都是 C# ，你都可以通过 selenium 完成自动化测试，而 QTP 只支持
2020-11-26 10:12:26
323
原创 python 爬虫Beautiful Soup 的简介 （十四）
1. Beautiful Soup 的简介简单来说，Beautiful Soup 是 python 的一个库，最主要的功能是从网页抓取数据。官方解释如下：Beautiful Soup 提供一些简单的、python 式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup 自动将输入文档转换为 Unicode 编码，输出文档转换为 utf-8 编码。你不需要考虑编码方式，除
2020-11-26 10:02:17
246
原创 python 爬虫基础 Scrapy ( 十三)
在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。import requestsdef fetch_async(url): response = requests.get(url) return responseurl_list = ['http://www.github.com', 'http://www.bing.com']for url in url_list: fetch_async(url)f
2020-11-23 17:04:46
513
2
原创 python 爬虫基础入门 (十二)
世界上80%的爬虫是基于Python开发的，学好爬虫技能，可为后续的大数据分析、挖掘、机器学习等提供重要的数据源。整理这个文档资料希望能对小伙伴有帮助。什么是爬虫？网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据爬虫可以做什么？你可以爬去妹子的图片，爬取自己想看看的视
2020-11-18 13:00:51
1326
原创 Python魔术方法Magic Methods ( 十一)
实例化一.实例化一个对象 __new__: 该方法需要返回一个值，如果该值不是cls的实例，则不会调用"__init__"。该方法永远都是静态方法。#！/usr/bin/env python#_*_conding:utf-8_*_class Person: def __new__(cls, *args, **kwar
2020-11-17 15:35:20
222
原创 python 线程、进程与协程 (十)
（一）线程与多线程 线程 （1） 线程，有时被称为轻量级进程(Lightweight Process，LWP），是程序执行流的最小单元。 （2）一个标准的线程由线程ID，当前指令指针(PC），寄存器集合和堆栈组成。有了这些它能够记录自己运行到了什么地方，可以称为线程的上下文。 （3）线程的运行可能被抢占(中断)或暂时的被挂起(也叫睡眠)让其它的线程运行，这叫做让步。 （4）线程也有就绪、阻塞和运行三种基本状态。就绪状态是指线程具备
2020-11-17 13:09:15
425
原创 python 网络编程socket (九)
一.socket介绍1>.TCP/IP协议2>.跨网络的主机间通讯 在建立通信连接的每一端，进程间的传输要有两个标志： IP地址和端口号，合称为套接字地址 socket address 客户机套接字地址定义了一个唯一的客户进程 服务器套接字地址定义了一个唯一的服务器进程3>.什么是socket套接字 套接字（socket）是一个抽象层，应用程序可以通过它发送或接收数据，可对其进行像对文件一样的打开、读写和关闭等操作。套接字允许应用程序将I/O插入到网络
2020-11-17 12:52:12
1091
1
原创 python常用模块 (五)
模块，用一砣代码实现了某个功能的代码集合。类似于函数式编程和面向过程编程，函数式编程则完成一个功能，其他代码用来调用即可，提供了代码的重用性和代码间的耦合。而对于一个复杂的功能来，可能需要多个函数才能完成（函数又可以在不同的.py文件中），n个 .py 文件组成的代码集合就称为模块。如：os 是系统相关的模块；file是文件操作相关的模块模块分为三种：自定义模块内置模块开源模块自定义模块1、定义模块情景一：情景二：情景三：2、导入模块Python之所以应用越来越广泛，在一
2020-11-16 16:13:54
834
原创 大数据数据仓库 Hive (三)
大数据技术之Hive一 Hive基本概念1.1 什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将HQL/SQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上1.2 Hive的优缺点1.2.1 优点1）操作接口采用类SQL语法，提供快速开发的能力（
2020-11-10 11:31:10
850
原创 Devops实现之jenkins (二)
1.jenkins安装方式一:安装jenkinsJDK下载：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlTomcat下载：http://tomcat.apache.org/Jenkins下载：https://jenkins.io/index.html####本地yum 源192.168.19.200 mirrors.aliyun.com[root@Jenkins ~]# yu
2020-11-10 11:03:53
584
原创 大数据数据传输 Sqoop (四)
大数据技术之Sqoop一、Sqoop简介Apache Sqoop™是一种旨在有效地在ApacheHadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。请注意，1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。二、Sqoop原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。三、Sqoo
2020-11-10 10:58:40
1123
原创 大数据高可用版 HBase(二)
一 搭建HBase的环境1.环境准备：解压 tar -zxvf hbase-1.3.1-bin.tar.gz -C /applicationln -s hbase-1.3.1-bin hbash设置环境变量 vi ~/.bash_profileHBASE_HOME=/application/hbashexport HBASE_HOMEPATH=$HBASE_HOME/bin:$PATHexport PATHsource ~/.bash_profile2.配置进入hbase-1.3.1.
2020-11-10 09:56:29
112
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人