- 博客(27)
- 收藏
- 关注
原创 阿里云服务器(centos)按装 selenium,webdriver,以及使用
安装chrome用 root 用户在目录 /etc/yum.repos.d 新建 google-chrome.reppocd /ect/yum.repos.d/vim google-chrome.repo在该文件中添加如下内容:1 [google-chrome]2 name=google-chrome3 baseurl=http://dl.google.com/linux...
2019-10-16 21:47:20
1724
原创 Python Spark WordCount
1.map与flatMap 的区别; 使用map产生的 list 是分层的,第一层是 List 文件文本的第一行,第二层是 List 每一行内英文单词,而 flatMap 有平铺的意思,产生的 List 会去掉分层,文件读取textFile = sc.textFile('dir/目录')Word 分散,偏平化stringRDD= textFile.flatMap(lambda line: li...
2018-05-21 15:33:11
1933
1
原创 关于hive无法连接 mysql
我之所以没有连接是因为,使用的liunx mysql 8.0 的版本,我们在安装的时候而hive只能连接到 5.7所以安装 mysql 的时候,我们要禁用 8.0 使用 5.7如果已经安装,则需要删除 8.0链接:http://blog.csdn.net/tjcyjd/article/details/52189182按照博客说命令来记得删除 所有 rpm -qa|grep -i mys...
2018-05-20 22:19:07
2354
原创 pandas 基础
Pandas : Python Data Analysis Library 或 pandas 是基于Numpy 的一种工具, 该工具是为了解决数据分析任务而创建的 pandas 纳入了大量库和一些标准的数据模型,提供了高效的操作发现数据所需的工具pandas 提供了大量能使我们快速处理数据和函数的方法它是Python 成为强大而高效的数据分析环境的重要因素之一1. Serie...
2018-05-20 21:59:35
207
原创 jupyter 之 Numpy
Numpy-- Numeric python :是python 的一种开源数值计算扩展。 1. 一个强大的N维数组; 2.比较成熟的(广播)函数库; 3. 用于整合c/c++ 和 Fortrant代码的工具包; 4.实用 的线性代表,傅里叶变换和随机数生成函数; 5.Numpy 和稀疏矩阵运算scipy ...
2018-05-20 11:03:20
689
原创 Mongodb 可视化工具 mongochef
链接:https://pan.baidu.com/s/1TMQaFez_W3Q_BA-6_EVslQ 密码:zn0m
2018-05-11 11:17:48
5274
1
原创 django 基础
web项目:applicationsession:作用域一次会话的时间cookie:存储在客户端request:return render(request,'',参数)一次请求page:只储存在页面中清除session三种方法: pop(), clear(), flush()存储session方式:数据库保存;共享存储来保存;memcached来保存;文件上传:forms与model在html中&...
2018-04-05 11:47:47
175
原创 注册 、登录
package是一个包,有init文件directory文件夹就没有从页面到views配置路径,页面请求,views返回给页面数据。views到页面有没有配路径settings里面根路径blog1.urls-->输入blog.urls-->输入regist路径和调用views方法-->views 页面:/blog/regist 包含关系views功能...
2018-03-31 11:36:53
293
原创 django
.Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。轻量级可以用flask。Django采用了MVC的软件设计模式,即模型M,视图V和控制器C。原来没有控制层,页面需要写python,所以出了mvc。但是增加了代码量,代码清晰了。python是mvt。 models写实体类,例如学生类 ,创建十个数据库学生表 ...
2018-03-29 11:34:24
275
原创 使用python 对mysql 进行 增、删、改、查1
python +PYmysql 模块:程序框架: --引入模块: import pymysql -- 获取连接:db = pymysql.connect(host="localhost", username="root" ...
2018-03-27 09:39:53
187
原创 MySQL数据库 基础知识【 4 】
1、视图是一张虚拟表:表示一张表的部分数据或多张表的综合数据,其结构和数据是建立在对表的查询基础上。2、视图中不存放数据:数据存放在视图所引用的原始表中。3、一个原始表,根据不同用户的不同需求,可以创建不同视图视图的用途:筛选表中的行,防止未经许可的用户访问敏感数据,降低数据库的复杂程度,将多个物理数据库抽象为一个逻辑数据库。创建视图CREATE VIEW view_name AS SELECT...
2018-03-24 11:35:40
168
原创 MySQL 基础知识【 3 】
EXISTS子查询:select...from 表名 where exists(子查询);子查询有返回结果: EXISTS子查询结果为TRUE。子查询无返回结果: EXISTS子查询结果为FALSE,外层查询不执行。EXISTS:执行效率高 速度快EXISTS是不相关子查询,如查询不准确,范围扩大,可进行相互关联(就是相关子查询),使其查询条件与执行结果有关联。WHERE与HAVING对比WHER...
2018-03-22 11:25:19
164
原创 mysql 数据库基础知识 修改 【 2 】
修改收据表1,修改表名 ALTER TABLE <旧表名> RENAME <新表名>2.修改字段名 ALTER TABLE <表名> CHANGE <旧字段名><新字段名><新数据类型>3.修改字段的数据类型 ALTER TABLE <表名> MOD
2018-03-17 13:15:14
150
原创 数据库基础知识【 1 】
1.1.1 语法形式 创建数据表的语句:CREATE TABLE, 字段名1 数据类型 [列级别约束条件][默认值], 字段名2 数据类型 [列级别约束条件][默认值] 注意: (1)要创建的表的名称,不区分大小写,不能用SQL语言中的关键字,如DROP、ALTER等。 (2)数据表中的每一列的名称和数据类型,如果要创建多列,要用逗号隔开。1....
2018-03-15 11:06:51
149
原创 示例,利用【socket】 模块进行通信
服务器端(serverse)import socket #导入scoket模块sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM)#生成socket对象,指定协议,和传输协议类型address = ("127.0.0.1",9090) ...
2018-03-12 14:59:41
414
原创 python 标准库【scoke】1
scoket: scoket 通常也 被称作“套接字”,网络上的两个程序通过一个双向的通信连接实现数据交换,这个连接的一段成为一个socket,socket是网络连接端点。例如你的web浏览器在请求网上的主页时,你的webl浏览器创建一个socket并命令他去连接,网络web服务器的主机,web服务器也对来自目的的请求在一个socket上进行监听。两端使用各自的socket;来...
2018-03-11 22:32:09
241
原创 多线程
Python 使用两个模块来实现多线程,__thread 和 threading,__thread 模块有一些缺点,threading模块是它的升级版;提供了有一个比thread更高级的API,来提高线程的并发性,能够将多个线程并发运行,共享内存;setDaemon():setDaemon(True)将线程设置成守护线程,此方法不许再start()方法调用之前设置,如果不设置成守护线程,程序将会无...
2018-03-07 15:44:04
154
原创 XML解析 dom.minidom
DOM ( Document Object Model):通过构建一个树结构来表现整个XML文档一但树被构建,可以通过过DOM提供接口来遍历树和提取相应的数据。*使用parse() 或 createDocument() 返回为DOM对象*使用DOM的docuememtElement属性可以获得Root Element*DOM为树形结构,包含许多nodes,其中element是...
2018-03-05 17:56:15
419
原创 xml解析(ElementTree)
try: import xml.etree.cElementTree as ETexcept Import Error: import xml.etree.ElementTree as ET请注意 自python3.3 以后,就不采用上面的导入方式,因为,ElementTree模块会自动优先加载c加速器,如果不存在C实现,则会用Python实现,因此:使用Python3...
2018-03-05 15:37:07
300
原创 os, os.path 模块中关于文件、目录常用的函数使用方法
getcwd() 返回当前工作目录chdir(path) 改变工作目录listdir(path= ' . ') 列举指定目录中的文件名(“.”表示当前目录,“..”表示 上一级目录)mkdir(path) 创建单层目录,如该目录已存在抛出异常makedirs(path) 递归创建多层目录,如该目录存在,则抛出异常remov...
2018-02-28 11:25:06
306
原创 文件对象方法
f.close() 关闭文件f.read([size]) 从文件读取size个字符,当未给定或给定负值时候后读取剩余 的所有字符,然后作为字符串返回f.readline([size]) 从文件读取并返回一行(包括行结束符),如果size有定义, 则返回size个字符f.write(str) ...
2018-02-28 10:43:22
451
原创 python 文件打开模式
open(" ","r") 以只读方式打开,文件的指针会放在文件的开头,这是默认模式: r+ 打开一个文件用于读写,文件的指针将会放在文件的开头,这是默认模式 rb 以二进制模式打开一个文件用于只读,文件指针将会放在文件的开头 rb+ 以二进制格式打开一个温江用于读写。文件指针将会放在文件的...
2018-02-27 23:00:10
2870
原创 类方法 @classmethod 静态方法@staticmethod
作者:晴天链接:https://www.zhihu.com/question/20021164/answer/248086691来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。class Num: #普通方法: 能用Num调用而不能用实例化对象调用 def one(): prin...
2018-02-26 22:59:53
228
原创 python 魔法方法 __new__
__new__(cls[,...])1.__new__实在一个对象实例化的时候所调用的第一个方法;2. 它的第一个参数是这个类,其他参数是用来直接传递给__init__方法;3.__new__决定是否使用该__init__方法,因为__new__可以调用其他类的 构造方法或者直接返回别的实例对象作为本类的实例,如果__new__没有 返回实例对象,则__init__不会被调用4. __ne...
2018-02-25 21:47:58
212
原创 函数的闭包 及参数类型
闭包: 在一个函数里,对在外部作用域(但不是在全局作用域)的变量进行引用,那么内部函数就被认为是闭包,一个闭包就是你调用了一个函数A,这个函数A返回了一个函数B给你,这个函数B就叫闭包; def funcX(x): def funcY(y): return x * yreturn funcY匿名函数 lambda 表达式 def func
2018-02-05 17:27:19
315
原创 最大公约数,最小公倍数;斐波那契数列;猜数字大小游戏
x y 的最大公约数: if x < y:#辗转相除法: while x%y : temp = x%y x = yy = tempelse:x ,y = y,xwhile x%y : temp = x%y x = yy = temp或者:a = 0for i in range(1,x+1)
2018-01-26 12:55:33
745
原创 Python3 运算符
成员资格运算符: in not in逻辑运算符: and or not算数操作符: + - * / ** // %比较运算符: != == >= 赋值运算符:+= -= *= /= //= **=位运算符:& 按位运算符--参与运算的两个值如果相应位都为1,则该位结果为1,否则为0;
2018-01-24 11:31:51
234
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人