shilaike2-CSDN博客

原创阿里云服务器（centos）按装 selenium，webdriver,以及使用

安装chrome用 root 用户在目录 /etc/yum.repos.d 新建 google-chrome.reppocd /ect/yum.repos.d/vim google-chrome.repo在该文件中添加如下内容：1 [google-chrome]2 name=google-chrome3 baseurl=http://dl.google.com/linux...

2019-10-16 21:47:20 1693

原创 Python Spark WordCount

1.map与flatMap 的区别; 使用map产生的 list 是分层的，第一层是 List 文件文本的第一行，第二层是 List 每一行内英文单词，而 flatMap 有平铺的意思，产生的 List 会去掉分层，文件读取textFile = sc.textFile('dir/目录')Word 分散，偏平化stringRDD= textFile.flatMap(lambda line: li...

2018-05-21 15:33:11 1904 1

原创关于hive无法连接 mysql

我之所以没有连接是因为，使用的liunx mysql 8.0 的版本，我们在安装的时候而hive只能连接到 5.7所以安装 mysql 的时候，我们要禁用 8.0 使用 5.7如果已经安装，则需要删除 8.0链接：http://blog.csdn.net/tjcyjd/article/details/52189182按照博客说命令来记得删除所有 rpm -qa|grep -i mys...

2018-05-20 22:19:07 2330

原创 pandas 基础

Pandas : Python Data Analysis Library 或 pandas 是基于Numpy 的一种工具，该工具是为了解决数据分析任务而创建的 pandas 纳入了大量库和一些标准的数据模型，提供了高效的操作发现数据所需的工具pandas 提供了大量能使我们快速处理数据和函数的方法它是Python 成为强大而高效的数据分析环境的重要因素之一1. Serie...

2018-05-20 21:59:35 186

原创 jupyter 之 Numpy

Numpy-- Numeric python :是python 的一种开源数值计算扩展。 1. 一个强大的N维数组； 2.比较成熟的（广播）函数库； 3. 用于整合c/c++ 和 Fortrant代码的工具包； 4.实用的线性代表，傅里叶变换和随机数生成函数； 5.Numpy 和稀疏矩阵运算scipy ...

2018-05-20 11:03:20 671

原创 Mongodb 可视化工具 mongochef

链接：https://pan.baidu.com/s/1TMQaFez_W3Q_BA-6_EVslQ 密码：zn0m

2018-05-11 11:17:48 5237 1

原创 django 基础

web项目:applicationsession：作用域一次会话的时间cookie:存储在客户端request:return render(request,'',参数)一次请求page:只储存在页面中清除session三种方法: pop()， clear()， flush()存储session方式：数据库保存；共享存储来保存；memcached来保存；文件上传：forms与model在html中&...

2018-04-05 11:47:47 163

原创注册、登录

package是一个包，有init文件directory文件夹就没有从页面到views配置路径，页面请求，views返回给页面数据。views到页面有没有配路径settings里面根路径blog1.urls-->输入blog.urls-->输入regist路径和调用views方法-->views 页面：/blog/regist 包含关系views功能...

2018-03-31 11:36:53 248

原创 django

.Python下有许多款不同的 Web 框架。Django是重量级选手中最有代表性的一位。许多成功的网站和APP都基于Django。轻量级可以用flask。Django采用了MVC的软件设计模式，即模型M，视图V和控制器C。原来没有控制层，页面需要写python,所以出了mvc。但是增加了代码量，代码清晰了。python是mvt。 models写实体类，例如学生类，创建十个数据库学生表 ...

2018-03-29 11:34:24 265

原创使用python 对mysql 进行增、删、改、查1

python +PYmysql 模块：程序框架： --引入模块： import pymysql -- 获取连接：db = pymysql.connect(host="localhost", username="root" ...

2018-03-27 09:39:53 181

原创 MySQL数据库基础知识【 4 】

1、视图是一张虚拟表：表示一张表的部分数据或多张表的综合数据，其结构和数据是建立在对表的查询基础上。2、视图中不存放数据：数据存放在视图所引用的原始表中。3、一个原始表，根据不同用户的不同需求，可以创建不同视图视图的用途：筛选表中的行，防止未经许可的用户访问敏感数据，降低数据库的复杂程度，将多个物理数据库抽象为一个逻辑数据库。创建视图CREATE VIEW view_name AS SELECT...

2018-03-24 11:35:40 158

原创 MySQL 基础知识【 3 】

EXISTS子查询：select...from 表名 where exists(子查询);子查询有返回结果： EXISTS子查询结果为TRUE。子查询无返回结果： EXISTS子查询结果为FALSE,外层查询不执行。EXISTS：执行效率高速度快EXISTS是不相关子查询，如查询不准确，范围扩大，可进行相互关联（就是相关子查询），使其查询条件与执行结果有关联。WHERE与HAVING对比WHER...

2018-03-22 11:25:19 150

原创 mysql 数据库基础知识修改【 2 】

修改收据表1，修改表名 ALTER TABLE <旧表名> RENAME <新表名>2.修改字段名 ALTER TABLE <表名> CHANGE <旧字段名><新字段名><新数据类型>3.修改字段的数据类型 ALTER TABLE <表名> MOD

2018-03-17 13:15:14 141

原创数据库基础知识【 1 】

1.1.1 语法形式　　创建数据表的语句：CREATE TABLE，字段名1　数据类型　［列级别约束条件］［默认值］，　　字段名2　数据类型　［列级别约束条件］［默认值］注意：　　（１）要创建的表的名称，不区分大小写，不能用SQL语言中的关键字，如DROP、ALTER等。　　（2）数据表中的每一列的名称和数据类型，如果要创建多列，要用逗号隔开。1....

2018-03-15 11:06:51 142

原创示例，利用【socket】模块进行通信

服务器端（serverse）import socket #导入scoket模块sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM)#生成socket对象，指定协议，和传输协议类型address = ("127.0.0.1",9090) ...

2018-03-12 14:59:41 376

原创 python 标准库【scoke】1

scoket： scoket 通常也被称作“套接字”，网络上的两个程序通过一个双向的通信连接实现数据交换，这个连接的一段成为一个socket,socket是网络连接端点。例如你的web浏览器在请求网上的主页时，你的webl浏览器创建一个socket并命令他去连接，网络web服务器的主机，web服务器也对来自目的的请求在一个socket上进行监听。两端使用各自的socket；来...

2018-03-11 22:32:09 220

原创多线程

Python 使用两个模块来实现多线程，__thread 和 threading,__thread 模块有一些缺点，threading模块是它的升级版；提供了有一个比thread更高级的API,来提高线程的并发性，能够将多个线程并发运行，共享内存；setDaemon():setDaemon(True）将线程设置成守护线程，此方法不许再start()方法调用之前设置，如果不设置成守护线程，程序将会无...

2018-03-07 15:44:04 144

原创 XML解析 dom.minidom

DOM ( Document Object Model)：通过构建一个树结构来表现整个XML文档一但树被构建，可以通过过DOM提供接口来遍历树和提取相应的数据。*使用parse(）或 createDocument() 返回为DOM对象*使用DOM的docuememtElement属性可以获得Root Element*DOM为树形结构，包含许多nodes,其中element是...

2018-03-05 17:56:15 389

原创 xml解析（ElementTree）

try: import xml.etree.cElementTree as ETexcept Import Error: import xml.etree.ElementTree as ET请注意自python3.3 以后，就不采用上面的导入方式，因为，ElementTree模块会自动优先加载c加速器，如果不存在C实现，则会用Python实现，因此：使用Python3...

2018-03-05 15:37:07 289

原创 os, os.path 模块中关于文件、目录常用的函数使用方法

getcwd() 返回当前工作目录chdir(path) 改变工作目录listdir(path= ' . ') 列举指定目录中的文件名（“.”表示当前目录，“..”表示上一级目录）mkdir(path) 创建单层目录，如该目录已存在抛出异常makedirs(path) 递归创建多层目录，如该目录存在，则抛出异常remov...

2018-02-28 11:25:06 289

原创文件对象方法

f.close() 关闭文件f.read([size]) 从文件读取size个字符，当未给定或给定负值时候后读取剩余的所有字符，然后作为字符串返回f.readline([size]) 从文件读取并返回一行（包括行结束符），如果size有定义，则返回size个字符f.write(str) ...

2018-02-28 10:43:22 433

原创 python 文件打开模式

open(" ","r") 以只读方式打开，文件的指针会放在文件的开头，这是默认模式： r+ 打开一个文件用于读写，文件的指针将会放在文件的开头，这是默认模式 rb 以二进制模式打开一个文件用于只读，文件指针将会放在文件的开头 rb+ 以二进制格式打开一个温江用于读写。文件指针将会放在文件的...

2018-02-27 23:00:10 2831

原创类方法 @classmethod 静态方法@staticmethod

作者：晴天链接：https://www.zhihu.com/question/20021164/answer/248086691来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。class Num: #普通方法：能用Num调用而不能用实例化对象调用 def one(): prin...

2018-02-26 22:59:53 219

原创 python 魔法方法 new

__new__(cls[,...])1.__new__实在一个对象实例化的时候所调用的第一个方法;2. 它的第一个参数是这个类，其他参数是用来直接传递给__init__方法；3.__new__决定是否使用该__init__方法，因为__new__可以调用其他类的构造方法或者直接返回别的实例对象作为本类的实例，如果__new__没有返回实例对象，则__init__不会被调用4. __ne...

2018-02-25 21:47:58 203

原创函数的闭包及参数类型

闭包：在一个函数里，对在外部作用域（但不是在全局作用域）的变量进行引用，那么内部函数就被认为是闭包，一个闭包就是你调用了一个函数A，这个函数A返回了一个函数B给你，这个函数B就叫闭包； def funcX(x): def funcY(y): return x * yreturn funcY匿名函数 lambda 表达式 def func

2018-02-05 17:27:19 303

原创最大公约数，最小公倍数；斐波那契数列；猜数字大小游戏

x y 的最大公约数： if x < y:#辗转相除法： while x%y : temp = x%y x = yy = tempelse:x ,y = y,xwhile x%y : temp = x%y x = yy = temp或者：a = 0for i in range(1,x+1)

2018-01-26 12:55:33 719

原创 Python3 运算符

成员资格运算符： in not in逻辑运算符： and or not算数操作符： + - * / ** // %比较运算符： != == >= 赋值运算符：+= -= *= /= //= **=位运算符：& 按位运算符--参与运算的两个值如果相应位都为1，则该位结果为1，否则为0；

2018-01-24 11:31:51 223

shilaike2的博客