Null的博客

hadoop从入门到放弃,Spark从MLlib到MLGB,Hbase从删库到跑路,hive从SQL到rmr,Scala从函数式到OOP...

windows7下的docker的安装及使用(持续更新,未完待续,每天一点点)

1.验证电脑是否支持docker docker需要支持微软的硬件虚拟化技术,且windows10只支持专业版(由于不用windows10请自行百度吧),windows10的安装和windows7不同,windows7,8需要Toolbox,而windows10不用 windows7请下载...

2018-07-31 10:00:42

阅读数:157

评论数:0

ElasticSearch从入门到精通,史上最全(持续更新,未完待续,每天一点点)

1.ElasticSearch的简介 ElasticSearch:智能搜索,分布式的搜索引擎 是ELK的一个组成,是一个产品,而且是非常完善的产品,ELK代表的是:E就是ElasticSearch,L就是Logstach,K就是kibana E:EalsticSearch 搜索和分析的功...

2018-07-30 20:10:46

阅读数:366

评论数:0

两台笔记本电脑之间实现屏幕扩展

闲置的旧笔记拿来做扩展屏正合适。但是笔记本电脑屏幕没有采集口,两台笔记本不能直接用VGA或者HDMI线连接起来实现屏幕扩展。不过还是又免费软件实现这一功能的。 两台笔记本,一台性能较好的为主机,另一台稍差的作为扩展屏机。查了知乎,提到了virtual managerhttp://virtualm...

2018-07-26 16:03:59

阅读数:225

评论数:0

MongoDB的安装及使用

1.下载 点击下载 注意:在 MongoDB 2.2 版本后已经不再支持 Windows XP 系统。最新版本也已经没有了 32 位系统的安装文件。 2.安装 注意:该版本不需要在新建日志文件和数据库文件的目录了,这样也就不需要新建配置文件然后进行关联了。 3.启动Mon...

2018-07-23 15:04:39

阅读数:126

评论数:0

1号店电商实时数据分析系统(持续更新,未完待续,每天一点点)

1.首先需要一个自己的CDH集群 2.离线日志采集流程介绍 3.实时数据采集流程 4.用户访问session分析                  

2018-07-23 12:54:06

阅读数:320

评论数:2

Python——深入理解urllib、urllib2及requests(requests不建议使用?)

urllib and urllib2 区别 urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。 urllib2.urlopen accepts an instance of the Request class or a url, (whereas urllib.u...

2018-07-18 17:51:01

阅读数:1180

评论数:0

python 配置pip镜像地址

自带的网速太慢。 新建如下路径 C:\Users\Administrator\pip 在pip文件夹中新建pip.ini文件 写入如下内容 [global] trusted-host=mirrors.aliyun.com index-url=http://mirrors.aliyun....

2018-07-18 17:21:13

阅读数:62

评论数:0

python中的类,实例,self,__init__,%s,%d,%f,封装,继承,

目录   1.什么是类和实例 1.什么是类和实例 面向对象最重要的概念就是类(class)和实例(instance),类是抽象的模板,比如学生这个抽象的事物,可以用一个Student类来表示。而实例是根据类创建出来的一个个具体的“对象”,每一个对象都从类中继承有相同的方法,但各自的数据可...

2018-07-18 15:17:46

阅读数:51

评论数:0

Python中urllib模块的使用

urllib模块中的方法urllib.urlopen(url[, data[, proxies]])创建一个表示远程url的类文件对象,然后像本地文件一样操作这个类文件对象来获取远程数据。参数url表示远程数据的路径,一般是网址;参数data表示以post方式提交到url的数据(玩过web的人应该...

2018-07-13 09:15:26

阅读数:54

评论数:0

Python中re模块的使用

re.match在字符串的开始位置匹配,如果匹配成功将返回MatchObject(值为True),否则返回None(值为False)。 函数原型def match(pattern, string, flags=0)1参数说明pattern:正则表达式 string:要匹配的字符串 flags:控制...

2018-07-13 09:15:15

阅读数:139

评论数:0

Java代码发布,打包成jar文件以及转换为exe可执行文件

此篇博客教你如何方便快捷地把java代码,打包成jar文件以及转换为exe可执行文件。所需软件eclipse或Myeclipse下面有几个可以将JAR打包成exe的软件。一、exe4j。 说明:exe4j可以将Jar文件制作成exe文件,但需jre支持,也可将Jar文件放在外面。 软件性质:共享软...

2018-07-13 09:15:05

阅读数:33

评论数:0

数据库系统概念中table/view/schema/index的关系

操作对象创建删除修改模式CREATE SCHEMADROP SCHEMA 表CREATE TABLEDROP TABLEALTER TABLE视 图CREATE VIEWDROP VIEW 索 引CREATE INDEXDROP INDEX 表大家不一定要了解这个东西的准确定义是什么,但是一定要知...

2018-07-13 09:14:45

阅读数:88

评论数:0

Python爬虫包 BeautifulSoup 递归抓取

之前的代码都是对单个静态页面进行抓取,这是人为简化的例子。爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容,然后分析页面内容并找到另一个URL,然后获得这个URL的页面内容,不断重复这一个过程。让我们以维基百科为一个例子。 我们想要将维基百科中凯...

2018-07-12 10:29:48

阅读数:54

评论数:0

Python爬虫包 BeautifulSoup 之 亲属关系

继续使用上篇的html页面内容:html_doc = """ <html> <head><title>The ...

2018-07-12 10:14:38

阅读数:63

评论数:0

Python爬虫包 BeautifulSoup 之 正则表达式与Lambda表达式

正则表达式正则表达式的用法可以查看之前的文章,一般来说如果用python自带的urllib、urllib2库写爬虫的基本都会用到大量的正则表达式,而同样的,正则表达式也可以作为BeautifulSoup语句的任意一个参数,让你的目标元素查找工作极具灵活性。from urllib2 import u...

2018-07-12 10:10:55

阅读数:51

评论数:0

Python爬虫包 BeautifulSoup 之 CSS 选择器

BeautifulSoup支持最常用的CSS选择器,在 Tag 或 BeautifulSoup 对象的 .select() 方法中传入字符串参数,即可使用CSS选择器的语法找到tag。CSS选择器CSS选择器是一种单独的文档搜索语法。 详情请见此链接BS4中的CSS选择器本篇所使用的html为:h...

2018-07-12 09:57:14

阅读数:76

评论数:0

Scala中的Option

Scala中的Option避免null使用大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”,在Java,它是null。写Java程序的时候,经常会碰到没有有意义的东西可以返回,我们返回null。在Java 里,null 是一个关键字,不是一个对象,所以对它调用任何方法都是非法的。...

2018-07-12 09:51:22

阅读数:201

评论数:0

Scala中的文件操作

Scala中的文件操作文件读取在Scala中,如果只是简单的读取文件内容,可以有两种方法,第一是使用Java的API,第二种就是使用scala.io.Source模块。读取行import scala.io.Source; object Demo extends App { val fil...

2018-07-12 09:49:11

阅读数:99

评论数:0

Scala中的yield

Scala中的yield 简介 对于for循环的每次迭代,yield都会生成一个将被记住的值。就像有一个你看不见的缓冲区,for循环的每一次迭代都会将另一个新的值添加到该缓冲区。 当for循环结束运行时,它将返回所有已赋值的集合。返回的集合的类型与迭代产生的类型相同,因此Map会生成Map,...

2018-07-12 09:47:40

阅读数:359

评论数:0

Spark中的cache和persist

Spark中cache和persist的作用以及存储级别前言Spark开发高性能的大数据计算作业并不是那么简单。如果没有对Spark作业进行合理的调优,Spark作业的执行速度可能会很慢,这样就完全体现不出Spark作为一种快速大数据计算引擎的优势来。因此,想要用好Spark,就必须对其进行合理的...

2018-07-12 09:46:02

阅读数:43

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭