2016年05月_yujianta14

原创彼得·蒂尔:别浪费你的无知，去做那些没人做过的事

硅谷风险投资家彼得·蒂尔参加了美国汉密尔顿学院2016届的毕业典礼并作演讲。他与Max Levchin和Elon Musk一道创立了PayPal。　　彼得以敢说话、说真话闻名硅谷，他此前表示高等教育对于赢家、输家和社会来说都是不好的，因此汉密尔顿学院最终选择他来作毕业演讲还挺出人意料的。不过，他演讲的主题——拥抱未知、驱动变革——对于毕业典礼这个场合来说非常合适。　　谢谢!我很荣幸

2016-05-31 17:37:26 550

原创大数据从何而来？你必须知道的7个数据源供应平台

我们都知道一句话“巧妇难为无米之炊”，数据源就是数据产生价值中的那些大米。那大数据时代企业需要哪些数据呢?根据我个人理解我觉得可以大致分为以下几类：　　1、(内部)企业自身业务生产经营环节产生的内部数据(包括销售、客服、仓储、财务等)　　2、(运营)可以理解为企业发展过程中掌握在第三方手中的数据，如企业的广告供应商以及一些传播与媒体数据(新媒体、H5、app等)　　3、(外部)包括传统

2016-05-30 15:28:55 2410

原创 MySQL高可用之MHA—部署MHA

前提由于MHA不会自动创建主从环境，所以要手动去部署主从环境，也可以在现有主从环境部署MHA。所有slave不要设置为只读，同时也要打开binlog。如果master故障后要切换到指定的slave上，该指定的slave打开binlog，设置可读写，其它不用设置打开binlog或设置只读也可。具体以自身架构为准。部署MySQL主从可参考：配置MySQL主从复制架构

2016-05-26 16:45:34 600

原创 Java知识：（3）Tomcat

1、Tomcat下载和安装　　1.1、下载地址　　apache官网：www.apache.org 　　产品的主页：http://jakarta.apache.org 　　Tomcat：http://tomcat.apache.org/ 　　1.2、版本　　安装版：window (exe、msi) linux(rmp) 　　压缩版：window(rar，zip) linux(tar，tar.g

2016-05-25 15:28:15 278

原创大数据技术基础-- Linux文件系统结构

一、Linux文件系统结构：　　Linux下的文件系统为树形结构，入口为/ 树形结构下的文件目录，为文件的根目录：无论哪个版本的Linux系统，都有这些目录，这些目录应该是标准的，不同的Linux发行版本的略有差异，但总体来说大多是一致的。　　1、rootfs: 根文件系统　　/ :文件系统的入口，为根目录，是最高一层目录。　　/boot:系统启动相关的文件，如内核、以及g

2016-05-24 15:14:14 353

原创 ES使用脚本进行局部更新的排错记录

初学Elasticsearch，在按照《Elasticsearch服务器开发(第2版)》进行学习的过程中，在P17页中1.4.5 更新文档小节，使用脚本对文档进行局部更新的时候遇到了如下报错： ~ curl -XPOST http://127.0.0.1:9200/blog/article/1/_update -d '{"script": "ctx._source.content=\"new c

2016-05-23 17:38:32 2796

原创常用排序算法（包括：选择排序，堆排序，冒泡排序，选择排序，快速排序，归并排序）

直接插入排序：在序列中，假设升序排序1)从0处开始。1)若走到begin =3处，将begin处元素保存给tmp，比较tmp处的元素与begin–处元素大小关系，若begin处3)以此类推，依次走完序列。时间复杂度：O()代码如下：//Sequence in ascending ordervoid InsertSort(int* a,int size){assert(a);for (int

2016-05-20 17:55:55 608

原创 Python爬虫和情感分析详解

这篇短文的目的是分享我这几天里从头开始学习Python爬虫技术的经验，并展示对爬取的文本进行情感分析(文本分类)的一些挖掘结果。不同于其他专注爬虫技术的介绍，这里首先阐述爬取网络数据动机，接着以豆瓣影评为例介绍文本数据的爬取，最后使用文本分类的技术以一种机器学习的方式进行情感分析。由于内容覆盖面巨大，无法详细道尽，这篇文章旨在给那些对相关领域只有少量或者没有接触的人一个认知的窗口，希望激发读者自

2016-05-19 15:27:01 3198

原创新型数据准备工具来袭你还在使用传统数据仓库架构吗?

越来越多的业务分析师正在提升自身编写临时查询和分析算法的能力。这些临时查询和分析算法用来寻找企业数据存储中的有用信息，为企业做业务决策时提供更多数据。随着企业员工越来越精通于使用分析工具，他们当中越来越多的人发现，传统的数据仓库架构阻碍了他们分析某些重要数据的能力。　　新兴的自助型数据准备工具可以帮助业务分析师、数据科学家和其他最终用户绕过数据仓库，完成数据集成和制备过程的关键部分。而我们说数

2016-05-18 15:36:40 341

这些天一直学习hadoop,学习中也遇到了许多的问题，主要是对hadoop的shell脚本和hadoop的源码概念不够清楚，所以我就对hadoop的bin目录下的shell脚本进行了研究，有一些成果想记录下来，也希望大家前来批评指正。　　分析原因：　　很多hadoop的初学者对hadoop的脚本不是很清楚，不知道为什么可以在命令行中启动hadoop,也不知道为什么有时在命令行中运行hadoop命令时

2016-05-17 15:51:26 720

原创《Hadoop基础教程》之初识Hadoop

Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。　　《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初步了解。　　Hadoop历史　　雏形开始于2002年的Apache的Nutch，Nutch是一个开源Jav

2016-05-16 16:29:33 427

原创 8张图读懂Java

一图胜千言，下面图解均来自Program Creek 网站的Java教程，目前它们拥有最多的票选。如果图解没有阐明问题，那么你可以借助它的标题来一窥究竟。　　1、字符串不变性　　下面这张图展示了这段代码做了什么　　　　String s = "abcd";s = s.concat("ef");　　2.equals()方法、hashCode()方法的区别　　HashCode被设计用来提高性能

2016-05-15 21:46:56 367

原创 Java的数据类型

Java四类八种基本数据类型　　第一类：整型 byte short int long　　第二类：浮点型 float double　　第三类：逻辑型 boolean(它只有两个值可取true false)　　第四类：字符型 char　　在学习了第四天的内容后可以发现　　在栈中可以直接分配内存的数据是基本数据类型。　　引用数据类型：是数据的引用在栈中，但是他的对象在

2016-05-13 11:17:20 240

原创大数据时代为什么都在谈Hadoop?

目前看起来，此类数据多数为日志数据，分析用户习惯，或者就是传感器之类的数据，分析环境等监控内容的变化规律。也有很多公司不使用Hadoop，比如多数从事政府行业或者部分企业系统开发的公司，他们对系统的易部署及易维护性要求更高，虽然也会遇到一部分数据量较大，不过通常使用NoSQL数据库就能够满足需要了，很少使用Hadoop。　　这又回到了一句老话，任何技术，都是为了解决问题而存在的，没有必要为

2016-05-12 11:24:07 544

原创大数据Java基础——移位运算的真实剖析（一）

抛砖引玉：　　Java 中定义了 3 种移位运算符，分别是左移运算符“<<”、右移运算符“>>”和无符号右移运算符“>>>”，对于移位运算，移位运算两边的操作数要求为整型，即 byte、short、char、 int 和 long类型，或者通过拆箱转换后为整型。当操作数的类型为 byte、short 或 char 类型时，会自动提升为 int 类型，运算的结果也为 int类型。对于移位运算，人们对

2016-05-11 16:21:23 629

原创高科技+大数据：精准农业大数据

提及孟山都，大家最直观的印象就是“转基因”。这家起源于美国密苏里州圣路易斯市的跨国农业科技公司，去年在全球的销售总额达到了158亿美元。除了转基因，孟山都科研在涉及农业大数据方面的精准农业种植探索对当下科技农业发展也有借鉴意义。　　Precision Planting：实现非均匀播种　　2012年，孟山都以2.5亿美元的价格收购了美国伊利诺伊州的一家拥有农业大数据种植技术公司Precisi

2016-05-10 15:43:34 1398

原创大数据分析的基本办法

大数据(big data)，指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。　　大数据不仅仅意味着数据大，最重要的是对大数据进行分析，只有通过分析才能获取很多智能的、深入的、有价值的信息。下面介绍大数据分析的五个基本方面——　　预测性分析能力：数据挖掘可以让分析员更

2016-05-09 13:56:25 954

原创物联网是大数据的一个重要应用

去年，大数据依然占是企业口中的热门话题。很多企业着力培育数据资产，积极探讨数据变现。一些国际巨头已经布局对大数据的垄断，但大数据技术还不够完善，大数据仍然是改变企业生产方式，完善服务链条的重要方式。Gartner就曾表示：到2020年，信息将被用于重新创造、数字化、或消除80%的业务流程和产品(相比于10年前——2010年)。对于企业来说，数据已经是一种资产，可以变现的资产。而诸如亚马逊的

2016-05-05 15:57:34 889

原创什么叫大数据，果断让你秒懂

一个段子解释什么叫大数据?什么叫做O2O?什么叫蓝海红海?什么叫互联网思维?什么叫众筹?简单粗暴令人秒懂!　　什么叫大数据　　某必胜客店的电话铃响了，客服人员拿起电话。　　客服：必胜客。您好，请问有什么需要我为您服务?　　顾客：你好，我想要一份……　　客服：先生，烦请先把您的会员卡号告诉我。　　顾客：16846146***　　客服：陈先生，您好!您是住在泉州路一号12楼

2016-05-04 15:00:53 541

原创什么是大数据思维？

作者简介(百度百科)：伊恩•艾瑞斯，计量经济学家、律师，耶鲁管理学院教授。他是《福布斯》杂志的专栏作家，目前是《法律、经济学和组织机构期刊》(Journal of Law,and Organization)的编辑，曾著有8本书，发表过100多篇文章。　　什么是大数据思维?一讲到这个，我变想起耶鲁大学计量经济学家伊恩•艾瑞斯的奠基之作-----《大数据思维与决策》，这个说通过讲述各个领域的有关大

2016-05-03 14:51:24 2353

yujianta14的博客