自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

liinux-Talk is cheap,show me the code.

【由于水平有限,本博客难免有不足,恳请各位大佬不吝赐教!】

  • 博客(31)
  • 资源 (152)
  • 收藏
  • 关注

原创 网络代理的基础知识


 常见的网络代理技术有vpn代理,http代理,socket代理等。打开fireFox浏览器看见其常见网络连接配置很多,本文将逐步讲解其每项代理的意义及配置方法;

一、Socks原理介绍
1、Socket套接字介绍
Socket套接字实际上是基于TCP/IP的一组应用程序接口,应用层的程序通过调用Socket套接字来实现网络...

2016-05-31 18:12:00 2413

原创 某代理网站免费IP地址抓取测试


 源代码在测试中...
http://www.AAA.com/nn/|    122.6.107.107|    8888|    山东日照|    高匿|    HTTP|    |    |    1天|    16-05-31 12:27|    |    182.45.84.129|    8888|    山东|    高匿|    HTTP| ...

2016-05-31 12:33:00 8836

原创 常用Maven插件介绍


 
我们都知道Maven本质上是一个插件框架,它的核心并不执行任何具体的构建任务,所有 这些任务都交给插件来完成,例如编译源代码是由maven- compiler-plugin完成的。进一步说,每个任务对应了一个插件目标(goal),每个插件会有一个或者多个目标,例如maven- compiler-plugin的compile目标用来编译位于src/mai...

2016-05-30 18:15:00 77

原创 Maven打jar发布包的常用配置


 1.修改pom.xml增加如下内容


<plugin> 
 <groupId>org.apache.maven.plugins</groupId> 
 <artifactId>maven-jar-plugin</arti

2016-05-30 17:26:00 117

原创 Apache Commons CLI 开发命令行工具示例


 概念说明Apache Commons CLI 简介
  虽然各种人机交互技术飞速发展,但最传统的命令行模式依然被广泛应用于各个领域:从编译代码到系统管理,命令行因其简洁高效而备受宠爱。各种工具和系统都 提供了详尽的使用手册,有些还提供示例说明如何二次开发。然而关于如何开发一个易用、强壮的命令行工具的文章却很少。本文将结合 Apache Commons C...

2016-05-30 12:48:00 193

原创 apache commons Java包简介


 
更多信息,请参考:http://commons.apache.org/
一、Commons BeanUtils说明:针对Bean的一个工具集。由于Bean往往是有一堆get和set组成,所以BeanUtils也是在此基础上进行一些包装。
二、Commons CLI说明:这是一个处理命令的工具。比如main方法输入的string[]需...

2016-05-30 12:07:00 183

原创 经济学的五个智慧


        经济学的五个智慧
现代社会每个人都应该懂点经济学,因为经济学是诺贝尔奖设立的唯一一门社会科学,可见经济学的重要性。可是,经济学博大精深,普通人该找个什么抓手来理解经济学呢?最近看到一篇文章说,普通人学习经济学有一个很简单的方法,那就是从经济学的五个智慧开始了解。哪五个智慧呢?
第一个智慧叫做国家是陌生社会。
      ...

2016-05-27 23:21:00 255

原创 笔记本就是力量


 笔记本就是力量 
同人于野
这几天我在参加一个物理会议,说了听了想了很多物理问题。这个状态下好像不太适合写博客,但我有一个非写出来不可的重大发现。我通过仔细观察,发现所有顶尖物理学家的一个共同特点:他们都有笔记本电脑。

以上是一个可能开的不怎么样的玩笑。本文想说的其实不是笔记本电脑,而是笔记本。达芬奇,钱钟书,和费米,他们...

2016-05-27 23:08:00 244

原创 如何练习一万小时


 (原文出处:同人于野)
随着畅销书《异类》的流行,“练习一万小时成天才”这个口号现在是尽人皆知。也许仍然有不少人相信那些不世出的天才必有天生的神秘能力,但科学家通 过大量的调查研究已经达成共识,那就是所有顶级高手都是练出来的。不但如此,最近几年的科学进展,人们可能第一次拥有了一个关于怎样炼成天才的统一理论。
好消息是除了某些体育项目对天生的身高...

2016-05-27 23:05:00 77

原创 java网络编程基础


 所谓计算机网络,就是把分布在不同地理区域的计算机与专门的外部设备用通信线路互连成一个规模大、功能强的网络系统,从而使众多的计算机可以方便地互相传递信息、共享硬件、软件、数据信息等资源。
  计算机网络是现代通信技术与计算机技术相结合的产物,计算机网络可以提供以下一些主要功能.
    –资源共享。
    –信息传输与集中处理。&#1...

2016-05-27 10:39:00 81

原创 如何更改java应用程序标题栏默认图标


 
方法一:
如果你用过Toolkit类,这将是一件很简单的事情: 
Toolkit tk=Toolkit.getDefaultToolkit() 
Image image=tk.createImage("image.gif"); /*image.gif是你的图标*/ 
this.setIconImage(image...

2016-05-26 13:23:00 412

原创 Java Swing的进化


 摘 要:Swing已是一个比较老的工具集了,在美观的用户界面出来之前需要开发很长时间。它缺少一些你在开发富UI时所需的组件。幸运地是,像 Substance,SwingX及Java Look-and_Feel图形仓库这样的开源项目使这一切变得不同。作者Steven Haines向你展示了如何无痛苦地向你的Swing UI中添加树表,语法高亮,以及其它更多的东西。 ...

2016-05-26 12:55:00 421

原创 Java中Properties类的操作配置文件


  知识学而不用,就等于没用,到真正用到的时 候还得重新再学。最近在看几款开源模拟器的源码,里面涉及到了很多关于Properties类的引用,由于Java已经好久没用了,而这些模拟器大多用 Java来写,外加一些脚本语言Python,Perl之类的,不得已,又得重新拾起。本文通过看《Java编程思想》和一些网友的博客总结而来,只为简 单介绍Properties类的相...

2016-05-26 00:23:00 119

原创 Java -Dfile.encoding=UTF-8 出现乱码问题原因分析


 这两天写了一个 Java 程序来玩,结果又遭遇了以前遇到过很多次的乱码问题,具体描述一下:
在 Mac 系统里面,常用的 Java 程序启动方式有如下几种:
1.通过 eclipse 执行 class 入口文件启动;

2.在 Terminal 里面用 java Test.class 或 jave -jar Test.ja...

2016-05-26 00:19:00 2915

原创 常用PDF文档开发库


 C++库:
1,PDF类库 PoDoFo   http://podofo.sourceforge.net/  PoDoFo 是一个用来操作 PDF 文件格式的 C++ 类库。它还包含一些小工具用来解析、修改和创建 PDF 文
2,Xpdf
   http://www.foolabs.com/xpdf/download.html   X...

2016-05-25 11:58:00 571

原创 java实现多线程断点续传,上传下载


 采用apache 的 commons-net-ftp-ftpclient



import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream...

2016-05-24 18:32:00 171

原创 Maven仓库的理解及配置


 什么是Maven仓库
在不用Maven的时候,比如说以前我们用Ant构建项目,在项目目录下,往往会看到一个名为/lib的子目录,那里存放着各类第三方依赖jar文 件,如log4j.jar,junit.jar等等。每建立一个项目,你都需要建立这样的一个/lib目录,然后复制一对jar文件,这是很明显的重复。 重复永远是噩梦的起点,多个项目不共用相同的jar...

2016-05-24 00:10:00 106

原创 Cpdetector编码识别


 概述
浏览器在打开一个网页时,首要任务是判断网页的编码格式,然后采用合适的编码进行解析;我们常用的文本编辑器在打开文档时同样需要判断文档的编码进行相应的解析。这涉及到的技术就是编码甄别,下面我们介绍一款比较好用的Java 库。
在http://sourceforge.net/projects/cpdetector/这个地址可以下载到。
...

2016-05-24 00:04:00 307

原创 Jnotify文件监控的用法以及Jar文件导入的方法


 简介Jnotiy, 支持动态监控(支持级联监控)文件夹和文件的jar包。在linux中,调用linux底层的jnotify服务。在windows中,需要添加附件的dll文件。
因为通用的Maven仓库中没有此Jar文件,pom.xml文件需要如下配置:


<dependency>
 <gr...

2016-05-23 23:00:00 295

原创 Maven向本地仓库导入官方仓库没有的jar包


 最近工程中需要用到JNotify Java包,可是在Maven公共仓库中没有找到该jar文件,下面是一个补救的办法。
 
以jnotify-0.94.jar为例:
 
需要用到Maven如下命令:
mvn install:install-file  -DgroupId=包名  -DartifactId=项目名  -...

2016-05-23 22:38:00 144

原创 一万小时定律的数学解释


 一、一万小时的来源
 
       作家格拉德威尔在《异类》一书中指出:“人们眼中的天才之所以卓越非凡,并非天资超人一等,而是付出了持续不断的努力。1万小时的锤炼是任何人从平凡变成超凡的必要条件。“”他将此称为“一万小时定律”。要成为某个领域的专家,需要10000小时,按比例计算就是:如果每天工作八个小时,一周工作五天,那么成为一个领域的专家...

2016-05-15 15:56:00 353

原创 数据抓取的艺术(三)


 原文地址:http://blog.chinaunix.net/uid-22414998-id-3696649.html
 
  本来是想把这部分内容放到前一篇《数据抓取的艺术(二):数据抓取程序优化》之中。但是随着任务的完成,我越来越感觉到其中深深的趣味,现总结如下:   (1)时间     时间是一个与抓取规模相形而生的因素,数据规模越大,时...

2016-05-15 00:31:00 95

原创 数据抓取的艺术(二)


 原文地址:http://blog.chinaunix.net/uid-22414998-id-3695673.html
 
续前文:《数据抓取的艺术(一):Selenium+Phantomjs数据抓取环境配置》。程序优化:第一步开始:


for i in range(startx,total):
   ...

2016-05-15 00:30:00 114

原创 数据抓取的艺术(一)


 原文地址:http://blog.chinaunix.net/uid-22414998-id-3692113.html?page=3
数据抓取是一门艺术,和其他软件不同,世界上不存在完美的、一致的、通用的抓取工具。为了不同的目的,需要定制不同的代码。不过,我们不必Start from Scratch,已经有许多的基本工具、基本方法和基础框架可供使用。不同...

2016-05-15 00:28:00 123

原创 Twitter数据抓取


 说明:这里分三个系列介绍Twitter数据的非API抓取方法。有兴趣的QQ群交流;
网络爬虫QQ群 322937592
 

1、Twitter数据抓取(一)

2、Twitter数据抓取(二)
3、Twitter数据抓取(三)
 



&#1

2016-05-12 21:05:00 371

原创 Twitter数据抓取的方法(三)


 
Scraping Tweets Directly from Twitters Search – Update
 Published August 1, 2015 

Sorry for my delayed response to this as I’ve seen several comments on this top...

2016-05-12 18:17:00 1383

原创 Twitter数据抓取的方法(一)


 Scraping Tweets Directly from Twitters Search Page – Part 1
 Published January 8, 2015 

EDIT – Since I wrote this post, Twitter has updated how you get the next list o...

2016-05-12 18:16:00 2286

原创 Twitter数据抓取的方法(二)


 
Scraping Tweets Directly from Twitters Search Page – Part 2
 Published January 11, 2015 

In the previous post we covered effectively the theory of how we can sea...

2016-05-12 18:16:00 1826

原创 数据抓取实战(一)


 数据抓取实战(一)
 
数据抓取实战(一)












2016-05-11 14:54:00 127

原创 Java程序中调用Python脚本的方法


 在程序开发中,有时候需要Java程序中调用相关Python脚本,以下内容记录了先关步骤和可能出现问题的解决办法。
1、在Eclipse中新建Maven工程;
2、pom.xml文件中添加如下依赖包之后update maven工程;
  

     <dependency>
 ...

2016-05-11 14:47:00 305

原创 利用JAVA Service Wrapper把JAVA程序做成windows服务


 今天做了一个读取数据入库的程序。由于读取的数据每天都更新,于是就想把程序做成一个服务,每天定时执行。研究了一下,发现有几种方式可以做。下面我主要记录一下JAVA Service Wrapper方式。
一、下面是整个程序的功能部分:
1.连接数据库的功能。我写了一个DBConnecter类,是一个单例。

public cla...

2016-05-11 14:38:00 147 1

台电U盘加密.zip

给U盘加密也是众多用户需要使用到的功能,那么台电加密大师是目前这个领域比较不错的好软件,台电u盘加密软件是一款免费软件,并且附带了台电加密大师使用步骤,我希望您可以通过它来进行最棒的U盘加密服务,感觉不错哦。

2019-12-21

大数据+分析案例+视频讲解.rar

当心!“数据”一样会说谎! 例2:一所艺术学校,男生校服只有裤子款式(100%选裤子),而女生校服有裙子和裤子两种款式,经统计得知75%的女生选裙子款,25%选裤子款。今天进入校园,远远看到一个穿裤子的同学,他是男生的概率高?还是女生的概率高? 根据之前讲座交流的经验,对于第一次阅读这份数据的朋友,大都判断该同学更可能是男生。但如果我把所有的数据细节都透露出来,大家的结论会不会有变化呢? 例2的完整数据:艺术学校有女生900人,男生100人。看到一个穿裤子男生的概率为10% × 100% = 0.1,而看到一个穿裤子女生的概率为90% × 25% = 0.225,所以远远看到一个穿裤子的同学,他更有可能是女生! 例2只公布了似然概率,却隐藏了先验概率信息,使人的判断发生迷惑。什么是似然概率和先验概率呢?这涉及到统计学中的贝叶斯公式,描述一件事物发生的概率与两个概率相关,先验概率和似然概率。 数学表示:P(h1 | D) ∝ P(h) × P(D | h) 假设h代表我们对某个事物的判断,如果有两个判断(如某同学是男或是女),可以写为h1、h2。数据D表示观测到的统计数据。P(h|D)表示看到数据D后,判断假设h为真的概率。P(D|h)表示判断假设h为真的情况下,观测到数据D的概率。那么,贝叶斯定理说明了“观测到数据D,判断假设h为真的概率”,与“假设h天然出现的概率(P(h),称为先验概率)”和“假设h为真的情况下,观测到数据D的概率(P(D|h),称为似然概率)”成正比。 其实更准确的公式是 P(h | D) = P(h) ×P(D | h) /P(D),因为对于不同的假设h,数据D天然出现的概率P(D)均相同。其对判断“哪个假设h更可能是真的”不起作用,通常可以忽略。 回到艺术学校的例子,观测数据D =看到该同学穿的是裤子,假设 h1=他是男生,假设h2=她是女生。 因为艺术学校男生有100人、女生有900人,所以先验概率 P(h1) =10%、P(h2)=90%。 因为男生 100%会选择裤子,女生 25%会选择裤子,所以似然概率P(D | h1) =100%、P(D | h2) =25%。 那么,校园中随意看到了一位穿裤子的同学, 他是男生的概率近似:P(h1 | D) = P(h1) × P(D | h1) = 10% × 100% = 0.1 她是女生的概率近似:P(h2 | D) = P(h2) × P(D | h2) = 90% × 25% = 0.225 可见女生的概率要比是男生的概率高1倍多,这位穿裤子的同学更可能是女生! 注释:上述计算亦可以加上P(D)的考量,会得到精确的概率结果。女生有225人穿裤子,男生100人穿裤子,校园1000名学生中穿裤子的概率P(D)为32.5%。将上述近似值除以P(D),得到他是男生的概率为30.8%,她是女生的概率为69.2%,之间的差距比例是一致的(0.1/0.225 = 30.8%/69.2%),所以通常可以省去计算P(D)。 从这两个例子可见,隐藏一部分数据,只展示部分维度时,可能会诱导人们得出完全不同的结论。在某些场景下,更细节的相关信息是不能忽略的,隐藏了部分事实就相当于说谎。很多数据分析工作均需要全面细致的数据信息才能做出正确的判断。

2019-12-19

软考+系统+架构师+教程+真题+解答.rar

根据原人事部、原信息产业部文件(国人部发[2003]39号)文件规定,计算机软件资格考试纳入全国专业技术人员职业资格证书制度的统一规划,实行统一大纲、统一试题、统一标准、统一证书的考试办法,每年举行两次。通过考试获得证书的人员,表明其已具备从事相应专业岗位工作的水平和能力,用人单位可根据工作需要从获得证书的人员中择优聘任相应专业技术职务(技术员、助理工程师、工程师、高级工程师)。计算机软件资格考试全国统一实施后,不再进行计算机技术与软件相应专业和级别的专业技术职务任职资格评审工作。因此,计算机软件资格考试既是职业资格考试,又是职称资格考试。同时,该考试还具有水平考试性质,报考任何级别不需要学历、资历条件,只要达到相应的专业技术水平就可以报考相应的级别。计算机软件资格考试部分专业岗位的考试标准与日本、韩国相关考试标准实现了互认,中国信息技术人员在这些国家还可以享受相应的待遇。考试合格者将颁发由中华人民共和国人力资源和社会保障部、工业和信息化部用印的计算机技术与软件专业技术资格(水平)证书。该证书在全国范围内有效。

2019-12-14

论中国古代历法推没灭算法的意义_曲安京.pdf

论中国古代历法推没灭算法的意义;论中国古代历法推没灭算法的意义;论中国古代历法推没灭算法的意义;论中国古代历法推没灭算法的意义

2019-12-06

通信专业技术人员职业资格考试辅导书最新版.zip

通信专业技术人员职业水平考试(以下简称通信考试)是由国家人力资源和社会保障部、工业和信息化部领导下的国家级考试,其目的是,科学、公正地对全国通信专业技术人员进行职业资格、专业技术资格认定和专业技术水平测试。 根据原人事部、信息产业部文件(国人部发[2006]10号),通信专业技术人员职业水平评价,纳入全国专业技术人员职业资格证书制度统一规划,分初级、中级和高级三个级别层次。初级、中级职业水平采用考试的方式评价;高级职业水平实行考试与评审相结合的方式评价,具体办法另行制定。参加通信专业技术人员初级、中级职业水平考试,并取得相应级别职业水平证书的人员,表明其已具备相应专业技术岗位工作的水平和能力。用人单位可根据《工程技术人员职务试行条例》有关规定和相应专业岗位工作需要,从获得相应级别、类别职业水平证书的人员中择优聘任。取得初级水平证书,可聘任技术员或助理工程师职务;取得中级水平证书,可聘任工程师职务。通信专业技术人员初级、中级职业水平考试在全国实施后,各地区、各部门不再进行通信工程相应专业和级别任职资格的评审工作。因此,这种考试既是职业资格考试,又是职称资格考试。 参加通信专业初级、中级职业水平考试合格人员,由各省、自治区、直辖市人力资源和社会保障局颁发人力资源和社会保障部统一印制,人力资源和社会保障部、工业和信息化部共同用印的《中华人民共和国通信专业技术人员职业水平证书》,该证书在全国范围有效。

2019-12-06

最优停止理论.zip

一、什么是最优停止 租房经历 大多数在外打工人员都有租房的经历,尤其是在一线城市,需求总是大于供给,通常我们在很难从历史的房子中觉得最好的去租下,因为可能你想租的时候已经被租出去了,在加上经纪人的原因,我们很难有特权能反复权衡作出决定。 我们必须在看房期间作出决定,我们总是会担心两个事情:担心看过的好房子被别人抢走,还有其他好房子还没看到。 这就要求我们必须在继续挑选和立刻下手之间作出一个决定,并达成某种平衡。那么到底该怎么办,如何找打这个平衡点,能让我们的决定更加明智? 在数学上我们得到了答案!37%,也就是说你在看前37%房子时不要作出决定,等过了这个数字,我们就得做好随时签约租房协议的事情,加入我们有一个月的找房时间。那么在前11天我们尽管看房,明确我们的标准,等过了11天遇到合适的房子我们就要准备随时签合同了。这个37%理论就是数学上“最优停止”理论了。 那么这个37%如何的出来的呢?

2019-12-01

一个面向信息抽取的中英文平行语料库.pdf

一个面向信息抽取的中英文平行语料库,

2019-11-20

基于改进SVM和HMM的文本信息抽取算法.pdf

基于改进SVM和HMM的文本信息抽取算法,

2019-11-20

基于改进HMM的文本信息抽取模型.pdf

基于改进HMM的文本信息抽取模型,

2019-11-20

基于改进HMM的半结构化文本信息抽取算法研究.pdf

基于改进HMM的半结构化文本信息抽取算法研究,

2019-11-20

基于HMM_BP混合模型的文本信息抽取研究.pdf

基于HMM_BP混合模型的文本信息抽取研究

2019-11-20

15000条航班数据2016年.zip

由于全国飞机航班数据库由程序运行得出,可能与实际会存在出入,票价请以当地全国飞机航班数据库公告为准,全国飞机航班数据库数据仅供参考,2016年数据,仅供参考。

2019-09-14

企业数据湖

●译者序 推荐序 关于作者 关于技术审核人员 前言 部分 概述 章 数据导论 1.1 探索数据 1.2 什么是企业数据 1.3 企业数据管理 1.4 大数据相关概念 1.5 数据与企业的相关性 1.6 数据质量 1.7 企业中数据如何存放 1.8 企业现状 1.9 企业数字化转型 1.10 数据湖用例启示 1.11 总结 第2章 数据湖概念概览 2.1 什么是数据湖 2.2 数据湖如何帮助企业 2.3 数据湖是如何工作的 2.4 数据湖与数据仓库的区别 2.5 数据湖的构建方法 2.6 Lambda架构驱动的数据湖 2.7 总结 第3章 Lambda架构:一种数据湖实现模式 3.1 什么是Lambda架构 3.2 Lambda架构简史 3.3 Lambda架构的原则 3.4 Lambda架构的组件 3.5 Lambda架构的完整工作原理 3.6 Lambda架构的优势 3.7 Lambda架构的劣势 3.8 Lambda架构技术概览 3.9 应用Lambda 3.10 Lambda架构运行范例 3.11 Kappa架构 3.12 总结 第4章 数据湖中的Lambda应用 4.1 Hadoop发行版本介绍 4.2 影响企业大数据技术栈选择的因素 4.3 批处理层与数据处理 4.4 服务层 4.5 总结 第二部分 数据湖的技术组件 第5章 基于Apache Sqoop的批量数据获取 5.1 数据湖背景中的数据获取 5.2 为什么使用Apache Sqoop 5.3 Sqoop的功能 5.4 Sqoop connector 5.5 Sqoop对HDFS的支持 5.6 Sqoop运行范例 5.7 适合使用Sqoop的场景 5.8 不适合使用Sqoop的场景 5.9 实时Sqooping是否可行 5.10 其他选项 5.11 总结 第6章 基于Apache Flume的流式数据获取 6.1 数据获取 6.2 为什么使用Flume 6.3 Flume的架构原则 6.4 Flume架构 6.5 Flume事件——流式数据 6.6 Flume Agent 6.7 Flume Source 6.8 Flume Channel 6.9 Flume Sink 6.10 Flume配置 6.11 Flume事务管理 6.12 Flume的其他组件 6.13 上下文路由 6.14 Flume运行范例 6.15 适合使用Flume的场景 6.16 不适合使用Flume的场景 6.17 其他选项 6.18 总结 第7章 使用Apache Kafka构建消息层 7.1 数据湖背景中的消息层 7.2 为什么使用Apache Kafka 7.3 Kafka的架构 7.4 其他Kafka组件 7.5 Kafka编程接口 7.6 生产者和消费者的可靠性 7.7 Kafka的安全性 7.8 Kafka作为面向消息的中间件 7.9 Kafka与水平可扩展架构 7.10 Kafka连接 7.11 Kafka运行范例 7.12 适合使用Kafka的场景 7.13 不合适使用Kafka的场景 7.14 其他选项 7.15 总结 第8章 使用Apache Flink处理数据 8.1 数据湖背景中的数据摄取层 8.2 为什么使用Apache Flink 8.3 Flink的工作原理 8.4 Flink的API 8.5 Flink运行范例 8.6 适合使用Flink的场景 8.7 不适合使用Flink的场景 8.8 其他选项 8.9 总结 第9章 使用Apache Hadoop存储数据 9.1 数据湖背景中的数据存储和Lambda批处理层 9.2 为什么使用Hadoop 9.3 Hadoop的工作原理 9.4 Hadoop生态系统 9.5 Hadoop发行版 9.6 HDFS和数据格式 9.7 Hadoop用于近实时应用 9.8 Hadoop部署模式 9.9 Hadoop运行范例 9.10 不适合使用Hadoop的场景 9.11 其他选项 9.12 总结 0章 使用Elasticsearch存储全文索引 10.1 数据湖背景中的数据存储层与Lambda快速处理层 10.2 什么是Elasticsearch 10.3 为什么使用Elasticsearch 10.4 Elasticsearch的工作原理 10.5 Elastic Stack 10.6 Elastic Cloud 10.7 Elasticsearch DSL 10.8 Elasticsearch中的节点 10.9 Elasticsearch与关系数据库 10.10 Elasticsearch生态系统 10.11 Elasticsearch部署选项 10.12 Elasticsearch Client 10.13 Elasticsearch用于快速流式处理 10.14 Elasticsearch作为数据源 10.15 Elasticsearch用于内容索引 10.16 Elasticsearch与Hadoop 10.17 Elasticsearch运行范例 10.18 适合使用Elasticsearch的场景 10.19 不适合使用Elasticsearch的场景 10.20 其他选项 10.21 总结 第三部分 将所有技术整合在一起 1章 数据湖组件集成 11.1 数据湖的学习进程 11.2 数据湖架构的核心原则 11.3 企业数据湖面临的挑战 11.4 企业对数据湖的期望 11.5 数据湖的其他用途 11.6 了解更多关于数据存储的信息 11.7 更多关于数据处理的知识 11.8 数据安全 11.9 数据加密 11.10 元数据管理和治理 11.11 数据审计 11.12 数据可追溯性 11.13 了解更多服务层细节 11.14 总结 2章 数据湖用例建议 12.1 在企业中推行网络安全实践 12.2 深入了解企业的客户 12.3 提升仓储管理效率 12.4 品牌创建与企业营销 12.5 为客户提供更个性化的服务 12.6 让物联网数据触手可及 12.7 更实用的数据归档 12.8 现有的数据仓库基础设施 12.9 实现电信安全和法规遵从 12.10 总结 内容虚线 内容简介 本书分为三个主要部分。靠前部分介绍了数据湖的概念、企业中数据湖泊的重要性,以及Lambda架构的很新进展。第二部分将深入研究使用Lambda架构构建数据湖的主要组件,介绍了一些流行的大数据技术,如Apache Hadoop、Spark、Sqoop、Flume和弹性搜索。第三部分以实际操作的方式展示如何实现一个企业数据湖,并介绍了几个实际的用例,而且展示了如何将其他外围组件添加到湖中以提高效率。在本书的很后,读者将能够选择正确的大数据技术,使用lambda架构模式来构建企业数据湖。

2019-03-18

备份软件-CobianBackup

cobian backup官方版是最近更新的全新版本软件,该软件支持增量、差异、完整模式的文件自动备份及同步软件,不仅能将数据文件备份到本地磁盘,同时也支持使用档案遮罩,自动包含或不包含所设定的副档名,总之是非常好用呀,喜欢的拿走吧。 功能特色 支援拖曳功能; 支持自动每天、每周、每月、定时备份档案; 可以使用档案遮罩,自动包含或不包含所设定的副档名; 内建档案压缩功能,备份档案可压缩为 ZIP 压缩档,并设定密码保护; 不仅支持将文件备份至本地磁盘同时还允许你备份至网络磁盘或FTP磁盘; 为了使你的备份文件更安全、占用空间更小,并且还提供了压缩与加密备份功能。 安装教程 1.下载cobian backup软件并解压缩; 2.双击解压后的Setup.exe运行安装包; 3.默认中文,然后点击“OK”; 4.进入安装向导,我们点击“下一步”; 5.点击“我接受”; 6.默认位置C:\Program Files\cobian backup; 7.不喜欢的可修改并再次点击“下一步”; 8.最后点击“安装”即可安装完成。

2019-03-18

人人都会数据分析:从生活实例学统计

数据分析已经成为数据时代各行各业突破各自行业发展瓶颈的最有效手段,无论是公司职员还是个体商户或大公司管理者,都需要有数据分析的能力。 《人人都会数据分析——从生活实例学统计》系统地介绍了数据分析的统计理论基础内容,共5章。第1章阐述了数据分析在当今生活中的重要性,以及人们成为各自领域的数据分析师的必要性和学习路径;第2章从数据描述的三个维度展开,详细介绍了如何从集中趋势、离散程度和分布形态对数据进行描述,从而使分析者充分了解自己手头的数据;第3章介绍了推断性数据统计分析的内容,介绍了如何通过样本数据特性推断出总体数据特征;第4章是关于预测分析内容,介绍了变量之间的相关分析,以及如何使用容易获取的数据信息预测难以获取的数据信息,用过去的历史数据信息预测未来可能出现的数据信息;第5章介绍了数据结果可视化的内容,包括各种统计图形的功能及使用场景。 《人人都会数据分析——从生活实例学统计》以数据分析的统计理论基础为主题,大多数知识点都列举了生活中的实用案例,适合高等院校学生、公司职员、个体商户和企业管理者学习参考。 第1 章 生活在数据时代 1 1.1 数据分析无处不在 2 1.1.1 常用的国家统计指标 2 1.1.2 制造业的数据分析应用 .9 1.1.3 营销领域的数据分析应用 13 1.1.4 医疗行业的数据分析应用 15 1.2 人人都能成为数据分析师 16 1.2.1 数据分析过程 17 1.2.2 数据分析工具 21 1.2.3 数据分析师的成长之路 26 第2 章 耳熟能详的数据你真的了解吗 29 2.1 数据的类型 30 2.1.1 数据的结构属性分类 30 2.1.2 数据的连续性特征分类 . 31 2.1.3 数据的测量尺度分类 . 33 2.2 数据描述的三个维度 35 2.3 数据的集中趋势描述 36 2.3.1 算术平均值 . 37 2.3.2 几何平均值 . 39 2.3.3 众数 . 40 2.3.4 中位数 . 41 2.4 数据的离散程度描述 42 2.4.1 极差 . 42 2.4.2 平均偏差 . 43 2.4.3 方差和标准差 . 44 2.4.4 变异系数 . 48 2.4.5 四分位极差 . 49 2.5 数据的分布形态描述 50 2.5.1 概率 . 50 2.5.2 概率分布 . 53 2.5.3 离散型概率分布:二项分布 . 54 2.5.4 离散型概率分布:多项分布 . 56 2.5.5 离散型概率分布:超几何分布 . 57 2.5.6 离散型概率分布:泊松分布 . 59 2.5.7 连续型概率分布:指数分布 . 62 2.5.8 连续型概率分布:均匀分布 . 65 2.5.9 连续型概率分布:正态分布 . 66 2.5.10 正态分布作为二项分布近似 . 73 2.5.11 正态分布作为泊松分布近似 . 76 第3 章 数据分析的“内核”:推断分析 . 79 3.1 见微知著的抽样 80 3.1.1 抽样的意义 . 80 3.1.2 抽样方法 . 81 3.1.3 样本推断的理论基础 . 84 3.2 数据的处理 86 3.2.1 数据处理的不良案例 . 86 3.2.2 正确的数据存储形式 . 87 3.3 样本到总体的桥梁:抽样分布 88 3.3.1 抽样分布的定义 . 88 3.3.2 ??分布 90 3.3.3 ??分布 95 3.3.4 切比雪夫定理 . 98 3.3.5 卡方(??2)分布 99 3.3.6 ??分布 100 3.4 数据分析的第一板“斧”:参数估计. 102 3.4.1 参数估计的类型 . 102 3.4.2 ??分布与总体均值的区间估计 . 104 3.4.3 ??分布与总体均值的区间估计 110 3.4.4 切比雪夫定理与总体均值的区间估计 113 3.4.5 卡方(??2)分布与总体方差的区间估计 115 3.4.6 ??分布与两个总体方差比的区间估计 .119 3.4.7 两个总体均值差的区间估计 . 121 3.4.8 总体比率的区间估计 . 133 3.4.9 样本容量的确定 . 135 3.5 数据分析的第二板“斧”:假设检验. 142 3.5.1 假设检验的理论基础 . 142 3.5.2 单样本的假设检验 . 150 3.5.3 两样本的假设检验 . 159 3.5.4 多样本的假设检验与方差分析 . 166 3.6 数据分析的第三板“斧”:非参数检验 . 184 3.6.1 非参数检验 . 185 3.6.2 卡方检验 . 187 3.6.3 ????????????????符号秩检验 191 第4 章 数据分析的终极目的:“为我所用” . 195 4.1 “相关”是继续分析的前提 196 4.1.1 相关关系 . 196 4.1.2 相关分析 . 198 4.2 “回归”是相关分析的归宿 209 4.2.1 回归分析综述 . 209 4.2.2 简单线性回归分析 211 4.2.3 多元线性回归分析 . 226 4.3 发现事物随时间变化的规律 235 4.3.1 时间序列分析综述 . 235 4.3.2 长期趋势分析 . 238 4.3.3 季节变动趋势分析 . 248 4.3.4 循环变动和不规则变动 . 252 4.3.5 时间序列分析应用 . 254 第5 章 给数据披上靓丽“外衣”:数据可视化 259 5.1 数据的可视化 260 5.1.1 数据可视化工具 . 260 5.1.2 常用的统计图 . 261 5.2 条形图、直方图和饼图 262 5.2.1 条形图 . 262 5.2.2 直方图 . 264 5.2.3 饼图 . 266 5.3 线图与面积图 267 5.3.1 线图 . 267 5.3.2 面积图 . 267 5.4 散点图 268 5.5 高低图与箱线图 270 5.5.1 高低图 . 270 5.5.2 箱线图 . 271 5.6 时间序列图 272 5.7 帕累托图 274 5.8 P-P 概率图和Q-Q 概率图 275 5.8.1 P-P 概率图 275 5.8.2 Q-Q 概率图 . 276

2019-01-22

知识图谱研究青年学者研讨会PPT

知识图谱研究青年学者研讨会PPT,知识图谱研究青年学者研讨会PPT

2019-01-13

中文知识图谱报告-2018

知识图谱(Knowledge Graph)以结构化的形式描述客观世界中概念、实体及 其关系,将互联网的信息表达成更接近人类认知世界的形式,提供了一种更好地 组织、管理和理解互联网海量信息的能力。知识图谱给互联网语义搜索带来了活 力,同时也在智能问答中显示出强大威力,已经成为互联网知识驱动的智能应用 的基础设施。知识图谱与大数据和深度学习一起,成为推动互联网和人工智能发 展的核心驱动力之一。 知识图谱技术是指知识图谱建立和应用的技术,是融合认知计算、知识表示 与推理、信息检索与抽取、自然语言处理与语义 Web、数据挖掘与机器学习等方 向的交叉研究。知识图谱于 2012 年由谷歌提出并成功应用于搜索引擎,知识图 谱属于人工智能重要研究领域——知识工程的研究范畴,是利用知识工程建立大 规模知识资源的一个杀手锏应用。94 年图灵奖获得者、知识工程的建立者费根 鲍姆给出的知识工程定义——将知识集成到计算机系统从而完成只有特定领域 专家才能完成的复杂任务。在大数据时代,知识工程是从大数据中自动或半自动 获取知识,建立基于知识的系统,以提供互联网智能知识服务。大数据对智能服 务的需求,已经从单纯的搜集获取信息,转变为自动化的知识服务。我们需要利 用知识工程为大数据添加语义/知识,使数据产生智慧(smart data),完成从数据 到信息到知识,最终到智能应用的转变过程,从而实现对大数据的洞察、提供用 户关心问题的答案、为决策提供支持、改进用户体验等目标。知识图谱在下面应 用中已经凸显出越来越重要的应用价值

2019-01-13

全国中文知识图谱研讨会2015

知识图谱(Knowledge Graph)是当前学术界和企业界的研究热点。中文知识图谱的构建对中文信息处理和中文信息检索具有重要的价值。作为国内最大的自然语言处理专家学者的学术类社团团体——中国中文信息学会(CIPS)主办的前沿学术研讨会之一,本次知识图谱研讨会将着重探讨中文知识图谱的构建的资源、技术、方案、策略以及待研究问题和挑战,促进研究单位之间以及研究界和产业界之间的学术交流,探索今后大规模中文知识图谱构建的研讨与合作机制。目前为止,大会已经得到国内自然语言处理研究者的广泛关注,将有约10家从事知识图谱研究和实践的著名高校、研究机构和企业的专家及学者有意参与并发表演讲。

2019-01-13

中文知识图谱研讨会2014

知识图谱(Knowledge Graph)是当前学术界和企业界的研究热点。中文知识图谱的构建对中文信息处理和中文信息检索具有重要的价值。作为国内最大的自然语言处理专家学者的学术类社团团体——中国中文信息学会(CIPS)主办的前沿学术研讨会之一,本次知识图谱研讨会将着重探讨中文知识图谱的构建的资源、技术、方案、策略以及待研究问题和挑战,促进研究单位之间以及研究界和产业界之间的学术交流,探索今后大规模中文知识图谱构建的研讨与合作机制。目前为止,大会已经得到国内自然语言处理研究者的广泛关注,将有约10家从事知识图谱研究和实践的著名高校、研究机构和企业的专家及学者有意参与并发表演讲。

2019-01-13

Modern Big Data Processing with Hadoop

Modern Big Data Processing with Hadoop 评分: The book begins by quickly laying down the principles of enterprise data architecture and showing how they are related to the Apache Hadoop ecosystem. You will get a complete understanding of data life cycle management with Hadoop, followed by modeling structured and unstructured data in Hadoop. The book will also show you how to design real-time streaming pipelines by leveraging tools such as Apache Spark, as well as building efficient enterprise search solutions using tools such as Elasticsearch. You will build enterprise-grad e analytics solutions on Hadoop and learn how to visualize your data using tools such as Tableau and Python. This book also covers techniques for deploying your big data solutions onpremise and on the cloud, as well as expert techniques for managing and administering your Hadoop cluster. By the end of this book, you will have all the knowledge you need to build expert big data systems that cater to any data or insight requirements, leveraging the full suite of modern big data frameworks and tools. You will have the necessary skills and know-how to become a true big data expert.

2018-12-28

大数据科学

在科学研究数据与日俱增的今天,我们把与科学相关的大数据称之为科学大数据, 科学大数据一般来自于物理世界,内容为科学实验数据或传感数据,特点是有一定的科学规律可循,采集的代价比较高。科学大数据集复杂性、综合性、全球性和信息与通信技术高度集成性等诸多特点融于一身,其研究方法也正在从单一学科向多学科、跨学科方向转变,科学大数据正在使科学世界发生变化,科学研究已经进入一个全新的范式——数据密集型科学范式。

2018-12-28

SQL 经典实例

了解SQL查询语言的基本原理,但仍感觉无法自由运用SQL?想在数据上线前用SQL跑一遍数据库?想进一步提高SQL技能? 以上需求《SQL经典实例》都可以满足。本书致力于让广大数据库相关人员了解SQL的强大数据处理能力。书中汇集了150多个SQL示例,给出了常见问题的解决方案,帮助读者扩宽思路并用学到的技术来解决新问题,既适合SQL初学者更深入理解SQL,也适合SQL中高级用户进阶及日常查询参考。 - where子句等常见查询语句 - 查询结果排序 - 连接查询 - 如何获取数据库元信息 - 常见数字运算实例 - 字符串处理 - 日期处理 - 数据仓储和复杂报表生成领域的查询 - 与层次化有关的一些实例 版权声明 阅读 O'Reilly Media, Inc. 介绍 阅读 前言 阅读 第 1 章 检索记录 阅读 第 2 章 查询结果排序 第 3 章 多表查询 第 4 章 插入、更新和删除 第 5 章 元数据查询 第 6 章 字符串处理 第 7 章 数值处理 第 8 章 日期运算 第 9 章 日期处理 第 10 章 区间查询 第 11 章 高级查询 第 12 章 报表和数据仓库 第 13 章 层次查询 第 14 章 杂项 附录 A 窗口函数简介 附录 B 重温 Rozenshtein

2018-12-21

收获,不止SQL优化--抓住SQL的本质

第1章 全局在胸——用工具对SQL整体优化 1 1.1 都有哪些性能工具 1 1.1.1 不同调优场景分析 2 1.1.2 不同场景对应工具 2 1.2 整体性能工具的要点 4 1.2.1 五大性能报表的获取 5 1.2.2 五大报表关注的要点 10 1.3 案例的分享与交流 18 1.3.1 和并行等待有关的案例 18 1.3.2 和热块竞争有关的案例 19 1.3.3 和日志等待有关的案例 20 1.3.4 新疆某系统的前台优化 20 1.3.5 浙江某系统的调优案例 21 1.4 本章总结延伸与习题 21 1.4.1 总结延伸 21 1.4.2 习题训练 23 第2章 风驰电掣——有效缩短SQL优化过程 24 2.1 SQL调优时间都去哪儿了 25 2.1.1 不善于批处理频频忙交互 25 2.1.2 无法抓住主要矛盾瞎折腾 25 2.1.3 未能明确需求目标白费劲 26 2.1.4 没有分析操作难度乱调优 26 2.2 如何缩短SQL调优时间 27 2.2.1 先获取有助调优的数据库整体信息 27 2.2.2 快速获取SQL运行台前信息 27 2.2.3 快速拿到SQL关联幕后信息 28 2.3 从案例看快速SQL调优 29 2.3.1 获取数据库整体的运行情况 29 2.3.2 获取SQL的各种详细信息 29 2.4 本章总结延伸与习题 32 2.4.1 总结延伸 32 2.4.2 习题训练 33 第3章 循规蹈矩——如何读懂SQL执行计划 34 3.1 执行计划分析概述 35 3.1.1 SQL执行计划是什么 35 3.1.2 统计信息用来做什么 36 3.1.3 数据库统计信息的收集 37 3.1.4 数据库的动态采样 37 3.1.5 获取执行计划的方法(6种武器) 40 3.2 读懂执行计划的关键 48 3.2.1 解释经典执行计划方法 49 3.2.2 总结说明 55 3.3 从案例辨别低效SQL 55 3.3.1 从执行计划读出效率 56 3.3.2 执行计划效率总结 60 3.4 本章习题、总结与延伸 60 第4章 运筹帷幄——左右SQL执行计划妙招 62 4.1 控制执行计划的方法综述 63 4.1.1 控制执行计划的意义 63 4.1.2 控制执行计划的思路 64 4.2 从案例探索其方法及意义 65 4.2.1 HINT的思路 65 4.2.2 非HINT方式的执行计划改变 72 4.2.3 执行计划的固定 100 4.3 本章习题、总结与延伸 102 第5章 且慢,感受体系结构让SQL飞 103 5.1 体系结构知识 104 5.1.1 组成 104 5.1.2 原理 104 5.1.3 体会 105 5.2 体系与SQL优化 106 5.2.1 与共享池相关 107 5.2.2 数据缓冲相关 111 5.2.3 日志归档相关 116 5.3 扩展优化案例 118 5.3.1 与共享池相关 118 5.3.2 数据缓冲相关 122 5.3.3 日志归档相关 126 5.4 本章习题、总结与延伸 130 第6章 且慢,体验逻辑结构让SQL飞 132 6.1 逻辑结构 132 6.2 体系细节与SQL优化 133 6.2.1 Block 133 6.2.2 Segment与extent 137 6.2.3 Tablespace 139 6.2.4 rowid 139 6.3 相关优化案例分析 140 6.3.1 块的相关案例 141 6.3.2 段的相关案例 144 6.3.3 表空间的案例 148 6.3.4 rowid 151 6.4 本章习题、总结与延伸 153 第7章 且慢,探寻表的设计让SQL飞 154 7.1 表设计 154 7.1.1 表的设计 155 7.1.2 其他补充 155 7.2 表设计与SQL优化 156 7.2.1 表的设计 156 7.2.2 其他补充 179 7.3 相关优化案例分析 184 7.3.1 分区表相关案例 185 7.3.2 全局临时表案例 190 7.3.3 监控异常的表设计 195 7.3.4 表设计优化相关案例总结 199 7.4 本章习题、总结与延伸 199 第8章 且慢,学习索引如何让SQL飞 200 8.1 索引知识要点概述 201 8.1.1 索引结构的推理 201 8.1.2 索引特性的提炼 204 8.2 索引的SQL优化 206 8.2.1 经典三大特性 207 8.2.2 组合索引选用 217 8.2.3 索引扫描类型的分类与构造 219 8.3 索引相关优化案例 225 8.3.1 三大特性的相关案例 225 8.3.2 组合索引的经典案例 231 8.4 本章习题、总结与延伸 234 第9章 且慢,弄清索引之阻碍让SQL飞 23

2018-12-21

MySQL王者晋级之路

大部分软件开发平台都基于Linux,很多互联网公司都把MySQL作为后端数据存储的数据库。如果把MySQL比喻成数据库界的一条巨龙,则《MySQL王者晋级之路》涵盖的所有知识点就是这条巨龙的组成部分。 《MySQL王者晋级之路》深入剖析MySQL数据库体系结构,实战演练备份恢复、主从复制,详解高可用集群架构的设计与实践过程,详细梳理优化思路,展现新版本的特性,并与真实生产案例相结合,通过核心原理到“王者”实战,全面覆盖MySQL数据库的知识点。 《MySQL王者晋级之路》适合熟悉Linux系统且想提升MySQL水平的读者。 第1部分 倔强青铜篇 第1章 MySQL简介与主流分支版本 1.1 MySQL简介 1.2 MySQL主流的分支版本 1.2.1 官方版本的MySQL 1.2.2 Percona Server 1.2.3 MariaDB 第2章 MySQL数据库的安装、启动和关闭 2.1 下载MySQL二进制软件包 2.2 安装前系统环境检测 2.3 MySQL 5.6版本的安装过程 2.4 创建密码 2.5 关闭MySQL数据库 2.6 基础数据库的名称 2.7 MySQL 5.7版本的安装 2.8 MySQL数据库root密码丢失的问题 2.9 MySQL数据库的连接方式 2.10 用户权限管理 第3章 MySQL体系结构与存储引擎 3.1 MySQL体系结构 3.2 Query Cache详解 3.3 存储引擎 3.4 InnoDB体系结构 3.4.1 数据库和数据库实例 3.4.2 InnoDB存储结构 3.4.3 内存结构 3.4.4 Buffer状态及其链表结构 3.4.5 各大刷新线程及其作用 3.4.6 内存刷新机制 3.4.7 InnoDB的三大特性 第4章 数据库文件 4.1 参数文件 4.2 参数类型 4.3 错误日志文件(error log) 4.4 二进制日志文件(binary log) 4.5 慢查询日志(slow log) 4.6 全量日志(general log) 4.7 审计日志(audit log) 4.8 中继日志(relay log) 4.9 Pid文件 4.10 Socket文件 4.11 表结构文件 4.12 InnoDB存储引擎文件 第5章 表 5.1 整型 5.2 浮点型 5.3 时间类型 5.4 字符串类型 5.5 字符集 5.6 表碎片产生的原因 5.7 碎片计算方法及整理过程 5.8 表统计信息 5.9 统计信息的收集方法 5.10 MySQL库表常用命令总结 第6章 索引 6.1 二叉树结构 6.2 平衡二叉树结构 6.3 B-tree结构 6.4 B+tree 6.4.1 聚集索引和普通索引 6.4.2 ICP、MRR和BKA 6.4.3 主键索引和唯.一索引 6.4.4 覆盖索引 6.4.5 前缀索引 6.4.6 联合索引 6.5 哈希索引 6.6 索引的总结 第7章 事务 7.1 事务的特性 7.2 事务语句 7.3 truncate和delete的区别 7.4 事务的隔离级别 7.5 细说脏读、不可重复读、幻读、可重复读现象 7.5.1 脏读 7.5.2 不可重复读与幻读 7.5.3 可重复读 第8章 锁 8.1 InnoDB的锁类型 8.1.1 读锁 8.1.2 写锁 8.1.3 MDL锁 8.1.4 意向锁 8.2 InnoDB行锁种类 8.2.1 单个行记录的锁 8.2.2 间隙锁(GAP lock) 8.2.3 Next-key Locks 8.3 锁等待和死锁 8.4 锁问题的监控 第2部分 秩序白银篇 第9章 备份恢复 9.1 MySQL的备份方式 9.2 冷备及恢复 9.3 热备及恢复 9.3.1 mysqldump的备份与恢复 9.3.2 select …into outfile 9.3.3 load data与insert的插入速度对比 9.3.4 mydumper 9.3.5 裸文件备份XtraBackup 9.4 流式化备份 9.4.1 非压缩模式的备份 9.4.2 压缩模式的备份 9.4.3 远程备份 9.5 表空间传输 9.6 利用binlog2sql进行闪回 9.7 binlog server 9.8 总结 第3部分 荣耀黄金篇 第10章 主从复制概述 10.1 常见的几种主从架构模式图 10.2 主从复制功能 10.3 主从复制原理 10.4 复制中的重点参数详解 第11章 复制原理及实战演练 11.1 异步复制 11.2 主从复制故障处理 11.3 半同步复制 11.4 半同步复制和异步复制模式的切换 11.5 GTID 复制 11.5.1 GTID原理介绍 11.5.2 GTID存在的价值 11.5.3 主从复制中GTID的管理与维护 11.5.4 GTID复制与传统复制的切换 11.5.5 GTID使用中的限制条件 11.6 多源复制 11.7 主从延迟的解决方案及并行复制 11.8 主从复制的数据校验 11.9 总结 第4部分 尊贵铂金篇 第12章 MHA 12.1 MHA简介 12.1.1 MHA部署 12.1.2 MHA原理 12.1.3 MHA的优缺点 12.1.4 MHA工具包的功能 12.2 实战演练 第13章 Keepalived+双主架构 13.1 Keepalived介绍 13.2 集群搭建思路及建议 13.3 实验部署演练 第14章 PXC 14.1 PXC原理 14.2 PXC架构的优缺点 14.3 PXC中重要概念和重点参数 14.4 PXC架构搭建实战 14.5 PXC集群状态的监控 14.6 从节点在线转化为PXC节点 第15章 ProxySQL 15.1 ProxySQL的安装与启动 15.2 配置ProxySQL监控 15.3 ProxySQL的多层配置系统 15.4 配置ProxySQL主从分组信息 15.5 配置读写分离策略 15.6 测试读写分离 15.7 总结 第5部分 永恒钻石篇 第16章 MySQL 5.7新特性 16.1 InnoDB存储引擎的增强 16.2 其他方面的增强 第17章 MySQL全面优化 17.1 硬件优化 17.2 配置参数优化 17.3 从Linux操作系统层面来谈对MySQL的优化 17.4 表设计及其他优化 17.5 整体管理优化总结 第6部分 至尊星耀篇 第18章 Lepus之MySQL监控 18.1 Lepus简介 18.2 实战部署 18.3 监控MySQL服务器 18.4 部署Lepus慢查询分析平台实战 18.5 监控总结 第19章 MySQL版本升级 19.1 升级方式 19.2 实战演练 第7部分 最强王者篇 第20章 MySQL面试宝典 20.1 自我介绍 20.2 技术问答

2018-12-21

Using Flume

Using Flume provides an overview of various components within Flume, diving into details where necessary. Operators will find this book immensely valuable for understanding how to easily set up and deploy Flume pipelines. Developers will find it a handy reference to build or customize components within Flume, and to better understand its architecture and component designs. Above all, this book will give you the necessary insights for setting up continuous ingestion for HDFS and HBase—the two most popular storage systems today.

2018-12-21

Flume 构建高可用、可扩展的海量日志采集系统

《Flume:构建高可用、可扩展的海量日志采集系统》从Flume 的基本概念和设计原理开始讲解,分别介绍了不同种类的组件、如何配置组件、如何运行Flume Agent 等。同时,分别讨论Source、Channel 和Sink 三种核心组件,不仅仅阐述每个组件的基本概念,而且结合实际的编程案例,深入、全面地介绍每个组件的详细用法,并且这部分内容也是整个Flume 框架的重中之重。之后,讲解拦截器、Channel选择器、Sink 组和Sink 处理器等内容,它们为Flume 提供灵活的扩展支持。最后,介绍了Flume 的高级使用,如何使用Flume 软件开发工具集(SDK)和Embedded Agent API,如何设计、部署和监控Flume 生产集群。

2018-12-21

疯狂Ajax讲义(第3版)+源代码(百度云下载)

因文件太大,限制上传,用百度云分享。 下载TXT文件后,里面有百度云分享下载链接; 李刚编著的《疯狂Ajax讲义》为《疯狂AjaX讲义》的第3版,其中jQuery升级到1.8版本;Prototype升级到1.7.1版本;DwR升级到3.0版本。第3版最大更新是详细、全面地介绍了Ext Js 4.1的知识。由于Ext Js 4.1本身内容比较多,因此本书花了几百页来介绍Ext Js的功能和用法,这部分内容独立出来即可作为Ext Js 4.1的学习手册。 本书详细介绍了iQuery 1.8、Ext Js 4.1、Prototype 1.7.1、DWR这4个最常用的AjaX框架的用法,并针对每个框架提供了一个实用案例,让读者理论联系实际。这部分内容是“疯狂软件教育中心”的标准讲义,它既包含了实际AjaX开发的重点和难点,也融人了大量学习者的学习经验和感悟。再由笔者以丰富的授课经验为基础,深入浅出地介绍它们,希望读者真正掌握Ajax开发的精髓。本书最后提供了2个综合性案例:Blog系统和电子拍卖系统,让读者将前面所学真正应用到实际项目中。电子拍卖系统是一个包含5个表、表之间具有复杂关联映射的系统,该案例采用目前最流行、最规范的轻量级.Java EE架构,将整个应用分为领域对象层、DAO层、业务逻辑层,然后用DWR作为AjaX引擎调用业务逻辑方法响应异步请求,系统权限检查推迟到业务逻辑层完成,并使用HTTP Session跟踪用户操作状态,从而避免用户刷新浏览器导致的浏览状态丢失。该案例对实际项目具有极好的指导价值和借鉴意义。该案例既提供了IDE无关的、基于Ant管理的项目源码,也提供了基于Eclipse IDE的项目源码,最大限度地满足读者的需求。 本书并非针对零基础的读者,书中不再包含HTML、CSS、JavaScript相关知识,这些知识是阅读本书的基础。本书适合有初步HTML、CSS、JavaScript基础的读者,或对企业应用前端开发不太熟悉的开发人员。如果你已经掌握本书上篇:《疯狂HTML 5/CSS 3/JavaScript讲义》内容,将非常适合阅读此书。

2018-11-19

疯狂HTML 5+CSS 3+JavaScript讲义(第2版)+源代码

目录 第1章 HTML 5简介 1 1.1 HTML历史与HTML 5 2 1.2 HTML 5的优势 6 1.3 HTML 5的基本结构和语法变化 8 1.4 本章小结 12 第2章 HTML 5的常用元素与属性 14 2.1 HTML 5保留的常用元素 15 2.2 HTML 5增强的iframe元素 34 2.3 HTML 5保留的通用属性 40 2.4 HTML 5新增的通用属性 44 2.5 HTML 5新增的结构元素 48 2.6 HTML 5新增的语义元素 55 2.7 HTML 5头部和元信息 59 2.8 HTML 5新增的拖放API 63 2.9 本章小结 71 第3章 HTML 5表单相关的元素和属性 72 3.1 HTML原有的表单及表单控件 73 3.2 HTML 5新增的表单属性 83 3.3 HTML 5新增的表单元素 90 3.4 HTML 5新增的客户端校验 96 3.5 本章小结 100 第4章 HTML 5的绘图支持 101 4.1 使用canvas元素 102 4.2 绘图 103 4.3 坐标变换 118 4.4 控制叠加风格 123 4.5 控制填充风格 124 4.6 位图处理 128 4.7 输出位图 132 4.8 动画制作 133 4.9 本章小结 136 第5章 HTML 5的多媒体支持 137 5.1 使用audio和video元素 138 5.2 使用JavaScript脚本控制媒体播放 141 5.3 事件监听 144 5.4 track元素 146 5.5 本章小结 149 第6章 级联样式单与CSS选择器 150 6.1 样式单概述 151 6.2 CSS样式单的基本使用 152 6.3 CSS选择器 158 6.4 伪元素选择器 167 6.5 CSS 3新增的伪类选择器 176 6.6 在脚本中修改显示样式 195 6.7 本章小结 197 第7章 字体与文本相关属性 198 7.1 字体相关属性 199 7.2 CSS 3支持的颜色表示方法 205 7.3 文本相关属性 206 7.4 CSS 3新增的服务器字体 212 7.5 本章小结 215 第8章 背景、边框和边距相关属性 216 8.1 盒模型简介 217 8.2 背景相关属性 217 8.3 使用渐变背景 226 8.4 边框相关属性 239 8.5 使用opacity控制透明度 246 8.6 padding和margin相关属性 247 8.7 本章小结 249 第9章 大小、定位、轮廓相关属性 250 9.1 width、height相关属性 251 9.2 定位相关属性 255 9.3 轮廓相关属性 257 9.4 用户界面和滤镜属性 258 9.5 本章小结 263 第10章 盒模型与布局相关属性 264 10.1 盒模型和display属性 265 10.2 对盒添加阴影 275 10.3 布局相关属性 278 10.4 CSS 3新增的多栏布局 285 10.5 使用弹性盒布局 289 10.6 本章小结 306 第11章 表格、列表相关属性及media query 307 11.1 表格相关属性 308 11.2 列表相关属性 313 11.3 控制光标的属性 316 11.4 media query和响应式布局 317 11.5 本章小结 323 第12章 变形与动画相关属性 324 12.1 CSS 3提供的变形支持 325 12.2 CSS 3新增的3D变换 337 12.3 CSS 3提供的Transition动画 341 12.4 CSS 3提供的Animation动画 345 12.5 本章小结 349 第13章 JavaScript语法详解 350 13.1 JavaScript简介 351 13.2 数据类型和变量 356 13.3 基本数据类型 364 13.4 复合类型 376 13.5 运算符 381 13.6 语句 391 13.7 流程控制 395 13.8 函数 403 13.9 函数的参数处理 425 13.10 面向对象 429 13.11 创建对象 437 13.12 本章小结 443 第14章 DOM编程详解 444 14.1 DOM模型概述 445 14.2 DOM模型和HTML文档 446 14.3 访问HTML元素 448 14.4 修改HTML元素 456 14.5 增加HTML元素 458 14.6 删除HTML元素 463 14.7 传统的DHTML模型 467 14.8 使用window对象 469 14.9 navigator和地理定位 479 14.10 HTML 5增强的History API 485 14.11 使用document对象 490 14.12 HTML 5新增的浏览器分析 493 14.13 本章小结 496 第15章 事件处理机制 497 15.1 事件模型的基本概念 498 15.2 绑定事件处理函数 499 15.3 事件处理函数的执行环境 505 15.4 事件类型 521 15.5 本章小结 534 第16章 本地存储与离线应用 535 16.1 Web Storage 536 16.2 Indexed数据库API 545 16.3 离线应用 564 16.4 本章小结 571 第17章 文件支持与二进制数据 572 17.1 HTML 5增强的文件上传域 573 17.2 ArrayBuffer与TypedArray 578 17.3 Blob类 583 17.4 本章小结 587 第18章 Web Worker多线程API 588 18.1 使用Worker创建多线程 589 18.2 与Worker线程进行数据交换 591 18.3 Worker线程嵌套 594 18.4 使用SharedWorker创建共享线程 597 18.5 Promise 603 18.6 本章小结 611 第19章 客户端通信 612 19.1 跨文档消息传递 613 19.2 使用WebSocket与服务器通信 621 19.3 使用Server-Sent Events API 630 19.4 使用Beacon 635 19.5 本章小结 636 第20章 HTML 5的疯狂俄罗斯方块 637 20.1 俄罗斯方块简介 638 20.2 开发游戏界面 639 20.3 俄罗斯方块的数据模型 640 20.4 实现游戏逻辑 644 20.5 本章小结 654

2018-11-19

2021年系统分析师考试背记精要-4页纸.docx

2021年系统分析师考试背记精要-4页纸

2021-04-20

文本相似度计算的Simhash算法的实现与改进.pdf

文本相似度计算的Simhash算法的实现与改进

2021-04-18

基于Simhash算法的海量文本相似性检测方法研究.pdf

基于Simhash算法的海量文本相似性检测方法研究

2021-04-18

基于SimHash的文本相似检测算法研究.pdf

基于SimHash的文本相似检测算法研究

2021-04-18

基于Simhash的安全密文排序检索方案.pdf

基于Simhash的安全密文排序检索方案

2021-04-18

改进的Simhash算法在文本查重中的研究及应用.pdf

改进的Simhash算法在文本查重中的研究及应用

2021-04-18

Simhash算法在文本去重中的应用-信息熵词频加权1.pdf

Simhash算法在文本去重中的应用-信息熵词频加权

2021-04-18

DivertTCPconn-master.zip

端口转发 # 查看所有转发 netsh interface portproxy show all # 端口转发 netsh interface portproxy add v4tov4 listenport=80 listenaddress=192.168.1.80 connectport=9000 connectaddress=192.168.1.80 # 删除规则 netsh interface portproxy delete v4tov4 listenport=80 listenaddress=192.168.1.80 # 使用netstat确保3340端口当前处于被侦听状态: netstat -ano | findstr :80 # 查看系统防火墙状态 netsh firewall show state # 查看所有类型的防火墙状态 netsh advfirewall show allprofiles # 禁用系统防火墙 netsh advfirewall set currentprofile state on # 启用防火墙 netsh advfirewall set currentprofile state off 端口映射 Usage: D:\Download\DivertTCPconn-master\compiled_binaries\Binaries_x64\divertTCPConn.exe original_dstport new_dstport [disablechecksum] [debug] Examples: D:\Download\DivertTCPconn-master\compiled_binaries\Binaries_x64\divertTCPConn.exe 3389 31337 D:\Download\DivertTCPconn-master\compiled_binaries\Binaries_x64\divertTCPConn.exe 3389 31337 disablechecksum debug

2021-04-18

蓝桥杯部分真题及解答.pdf

蓝桥杯部分真题及解答

2021-04-18

蓝桥杯历年真题及答案.pdf

蓝桥杯历年真题及答案

2021-04-18

蓝桥杯最新入门训练试题库.pdf

蓝桥杯最新入门训练试题库

2021-04-18

几款不错的BootStrap后台模板源代码.zip

几款不错的BootStrap后台模板源代码

2019-12-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除