- 博客(56)
- 资源 (31)
- 收藏
- 关注
RSS订阅原创 MapReduce中job参数及设置map和reduce的个数
map的个数在map阶段读取数据前，FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。影响map个数，即split个数的因素主要有：1）HDFS块的大小，即HDFS中dfs.block.size的值。如果有一个输入文件为1024m，当块为256m时，会被划分为4个split；当块为128m时，会被划分为8个split。2
2017-09-29 11:46:04
5492
原创 hadoop 常用命令
hadoop Apache版本的启动命令start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrackstop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTr
2017-09-29 11:33:52
521
原创 HDFS命令行文件操作
Hadoop文件操作命令形式为hadoop fs -cmd 说明：cmd是具体的文件操作命令，是一组数目可变的参数。Hadoop最常用的文件操作命令，包括添加文件和目录、获取文件、删除文件等。1 添加文件和目录HDFS有一个默认工作目录/usr/$USER，其中$USER是你的登录用户名，作者的用户名是root。该目录不能自动创建，需要执行mkdir命令创建
2017-09-29 11:33:07
730
原创 HDFS原理分析
DFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。一、HDFS的主要设计理念1、存储超大文件这里的“超大文件”是指几百MB、GB甚至TB级别的文件。2、最高效的访问模式是 一次写入、多次读取(流式数据访问)HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析
2017-09-29 11:32:11
277
转载 阿里巴巴Java规范开发手册
编程规约，命名风格，常量定义，代码格式，OOP规约，集合处理，并发处理，控制语句，注释规约，异常日志，异常处理，日志规约，安全规约，单元测试，MySQL数据库，SQL语句，ORM映射，工程结构，应用分层，服务器，建表和索引规约。
2017-09-29 09:28:21
1528
1
原创 数组去重 JavaScript 和Java
JavaScript 数组去重是面试中经常问到的问题[html] view plain copyvar arr=[1,3,4,52,4,5,4,8,7,6]; 第一种方法：使用ES5中的indexOf进行去重：[javascript] view plain copyfunc
2017-09-28 11:04:57
228
原创 汉诺塔的递归算法
算法：当只有一个盘子的时候，只需要从将A塔上的一个盘子移到C塔上。 当A塔上有两个盘子时，先将A塔上的1号盘子（编号从上到下）移动到B塔上，再将A塔上的2号盘子移动的C塔上，最后将B塔上的小盘子移动到C塔上。 当A塔上有3个盘子时，先将A塔上编号1至2的盘子（共2个）移动到B塔上（需借助C塔），然后将A塔上的3号最大的盘子移动到C塔，最后
2017-09-27 15:21:27
632
原创 DOM
1.DHTML：实现⽹页动态效果的技术的统称2.DHTML=HTML + CSS +JavaScript（宿主环境是DOM和BOM）3.DHTML对象模型：window: 代表当前打开的浏览器窗⼝history: 当前窗⼝本次打开后的历史记录navigator: 封装浏览器软件的版本和信息document: 代表当前窗⼝加载的⽹页⽂件location: 封装了当前窗⼝正
2017-09-27 10:36:36
286
原创 BOM
BOM : Browser Object Model , 浏览器对象模型，用于来访问和操纵浏览器窗⼝ ，使JavaScript有能⼒与浏览器“对话”。www.neworigin.net1.通过使用BOM , 可移动窗⼝ , 更改状态栏⽂本 ,执⾏其他不予页面内容发⽣直接联系的操作2.没有相关标准，被⼴泛使用BOM模型的对象：window：表示打开的浏览器窗⼝sc
2017-09-27 10:28:20
374
原创 jQuery
⼀、jQuery的使用1. jQuery: jQuery 是一个 JavaScript 库。jQuery 极⼤地简化了 JavaScript 编程。2. jQuery的使用步骤：2.1.引入jQuery文件2.2.使用选择器定位元素CSS的选择器 #id .class element ...getElementById() -> $("#id")getEle
2017-09-27 10:13:51
791
原创 Ajax原生与jQuery
四步走： 1.创建XMLHttpRequest核心对象； 2.注册监听； 3.建立连接； 4.发送数据；第一步：创建XMLHttpRequest核心对象varxhr = newXMLHttpRequest();兼容写法： function getXhr(){ varxhr=null;
2017-09-27 09:57:04
765
原创 Python 常见面试题（不断更新）
问题1到底什么是Python？你可以在回答中与其他技术进行对比（也鼓励这样做）。答案下面是一些关键点：Python是一种解释型语言。这就是说，与C语言和C的衍生语言不同，Python代码在运行之前不需要编译。其他解释型语言还包括PHP和Ruby。Python是动态类型语言，指的是你在声明变量时，不需要说明变量的类型。你可以直接编写类似x=111和x="I'm a s
2017-09-26 21:21:42
491
原创 java基础补充
流Java所有的流类位于java.io包中，都分别继承字以下四种抽象流类型。Type字节流字符流输入流InputStreamReader输出流OutputStreamWriter继承自InputStream/OutputStream的流
2017-09-26 20:18:06
1238
原创 Python注意事项和误区
Python是一种解释性、面向对象并具有动态语义的高级程序语言。它内建了高级的数据结构，结合了动态类型和动态绑定的优点，这使得它在快速应用开发中非常有吸引力，并且可作为脚本或胶水语言来连接现有的组件或服务。Python支持模块和包，从而鼓励了程序的模块化和代码重用。关于这篇文章Python简单易学的语法可能会使Python开发者–尤其是那些编程的初学者–忽视了它的一些微妙的地方并低
2017-09-26 17:28:37
1149
原创 Java的前期绑定和后期绑定
涉及到继承，可能使得待访问的类资源有多个定义，那么该何时和如何确定具体访问哪个定义呢？这个过程就是绑定过程。绑定分为前期绑定和后期绑定。在编译过程中，所有类资源（一般数据成员，静态数据成员，一般方法，静态方法）的前期绑定一定进行；在运行过程中，一般方法类资源的后期绑定一定进行，但是由“final或者private符号”修饰的一般方法类资源不进行后期绑定。后期绑定的作用结果能够覆盖前期绑定的作用结果
2017-09-26 17:20:09
635
原创 Python闭包
举例:# -*-( coding: utf-8 -*def fa(m):def fb(n):return m+n;return fb;a=10;b=20;print fa(a)(b);>>>30一、定义python中的闭包从表现形式上定义（解释）为：如果在一个内部函数里，对在外部作用域（但不是在全局作用域）的变量进行引用，那么内部函数就被认为是闭
2017-09-26 15:35:35
337
原创 js正则表达式
1.正则表达式基本语法两个特殊的符号'^'和'$'。他们的作用是分别指出一个字符串的开始和结束。例子如下："^The"：表示所有以"The"开始的字符串（"There"，"The cat"等）；"of despair$"：表示所以以"of despair"结尾的字符串；"^abc$"：表示开始和结尾都是"abc"的字符串——呵呵，只有"abc"自己了；"notice"：表示
2017-09-26 10:25:23
972
1
原创 Python常用标准库使用
本章涉及标准库：1、sys2、os3、glob4、math5、random6、platform7、pikle与cPikle8、subprocess9、Queue10、StringIO11、logging12、ConfigParser13、urllib与urllib214、js
2017-09-26 08:57:23
649
原创 Python 基础
Python支持将值格式化为字符串。虽然这可以包括非常复杂的表达式，但最基本的用法是将值插入到%s 占位符的字符串中 。编辑： 这是一个非常简单的例子：name = raw_input("who are you?")print "hello %s" % (name,)该 %s 令牌允许我插入（和潜在的格式）的字符串。请注意， %s 令牌被替换为% 符号后传递给字符
2017-09-25 09:45:03
689
原创 Python中的random模块
Python中的random模块用于生成随机数。下面介绍一下random模块中最常用的几个函数。random.randomrandom.random()用于生成一个0到1的随机符点数: 0 random.uniform random.uniform的函数原型为：random.uniform(a, b)，用于生成一个指定范围内的随机符点数，两个参数其中一个是上限，一
2017-09-25 08:44:15
237
原创 Java Calendar 类的时间操作
Java Calendar 类时间操作，这也许是创建和管理日历最简单的一个方案，示范代码很简单。演示了获取时间，日期时间的累加和累减，以及比较。原文地址：blog.csdn.net/joyous/article/details/9630893注意事项：Calendar 的 month 从 0 开始，也就是全年 12 个月由 0 ~ 11 进行
2017-09-23 17:18:16
501
原创 Python
Python进阶(一)-初识Python数据元素:列表&元组 毕业论文已完成，下面就是等待盲审结果了。在此期间，已感觉论文无从看起。就学习一下Python吧，听说这是一门很神奇的语言。下面言归正传~ 在线文档查询：点击查看 IDE：IntelJ。 有关IntelJ的安装与注册详见博文《IntelliJ IDEA 2016注册方法和注册码》。 下面介绍一下P
2017-09-23 14:38:03
14790
2
转载 IntelliJ IDEA 2016&2017注册方法和注册码
IntelliJ IDEA 2016&2017注册方法和注册码 题外话：看到IntelliJ的启动界面，不得不说画面做的太炫了！ IntelliJ IDEA号称当前Java开发效率最高的IDE工具。IntelliJ IDEA有两个版本：社区版(Community)和旗舰版(Ultimate)。社区版时免费的、开源的，但功能较少，旗舰版提供了较多的功能，是收费的，可以试
2017-09-23 14:36:15
3138
原创 JDBC之Statement,PreparedStatement,CallableStatement的区别
Statement 每次执行sql语句，数据库都要执行sql语句的编译 ，最好用于仅执行一次查询并返回结果的情形，效率高于PreparedStatement. PreparedStatement是预编译的，使用PreparedStatement有几个好处 a. 在执行可变参数的一条SQL时，PreparedStatement比Statement的效率高，因为DBMS预编译一
2017-09-23 11:59:42
658
原创 SQL一般面试题
几个表employees 表： EMPLOYEE_ID NUMBER(6) FIRST_NAME VARCHAR2(20) LAST_NAME VARCHAR2(25) EMAIL
2017-09-20 08:15:30
10152
原创 数据结构之八皇后问题以及最短路径
1. 八皇后问题八皇后问题，是一个古老而著名的问题，是回溯算法的典型案例。该问题是国际西洋棋棋手马克斯·贝瑟尔于1848年提出：在8X8格的国际象棋上摆放八个皇后，使其不能互相攻击，即任意两个皇后都不能处于同一行、同一列或同一斜线上，问有多少种摆法。 高斯认为有76种方案。1854年在柏林的象棋杂志上不同的作者发表了40种不同的解，后来有人用图论的方法解出92种结果。计算机发明后，有多种
2017-09-18 21:11:34
1838
转载 设计模式 状态模式 以自动售货机为例
先看定义：允许对象在内部状态改变时改变它的行为，对象看起来好像修改了它的类。定义又开始模糊了，理一下，当对象的内部状态改变时，它的行为跟随状态的改变而改变了，看起来好像重新初始化了一个类似的。下面使用个例子来说明状态模式的用法，现在有个自动售货机的代码需要我们来写，状态图如下：分析一个这个状态图：a、包含4个状态（我们使用4个int型常量来表示）b、包含
2017-09-18 21:10:17
493
原创 为什么说Java匿名内部类是残缺的闭包
我们先来看一道很简单的小题：public class AnonymousDemo1{ public static void main(String args[]) { new AnonymousDemo1().play(); } private void play() { Dog dog = new Dog();
2017-09-18 21:08:58
323
原创 Mysql常见知识点
2.外键的使用需要满足下列的条件：（这里涉及到了InnoDB的概念） 1. 两张表必须都是InnoDB表，并且它们没有临时表。 注：InnoDB是数据库的引擎。MySQL常见引擎有两种：InnoDB和MyISAM，后者不支持外键。 2. 建立外键关系的对应列必须具有相似的InnoDB内部数据类型。 3. 建立外键关系的对应列必须建立了索引。
2017-09-18 20:50:44
662
1
转载 Java 将字节数组转化为16进制的多种方案
很多时候我们需要将字节数组转化为16进制字符串来保存，尤其在很多加密的场景中，例如保存密钥等。因为字节数组，除了写入文件或者以二进制的形式写入数据库以外，无法直接转为为字符串，因为字符串结尾有\0，当然肯定还有其他原因。下面提供几种Java中使用的方案：方案一：直接利用BigInteger的方法，应该是最简单的方案了。[java] view plain
2017-09-18 20:37:46
580
转载 Java爬虫，信息抓取的实现
今天公司有个需求，需要做一些指定网站查询后的数据的抓取，于是花了点时间写了个demo供演示使用。思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。技术上使用Jsoup方便页面的解析，当然Jsoup很方便，也很简单，一行代码就能知道怎么用了：[java] view plain copy
2017-09-18 20:32:32
456
原创 HTML5 CSS3专题 诱人的实例 CSS3打造百度贴吧的3D翻牌效果 以及图片提交
今天给大家带来一个CSS3制作的翻牌效果，就是鼠标移到元素上，感觉可以看到元素背后的信息。大家如果制作考验记忆力的连连看、扑克类的游戏神马的，甚至给女朋友写一些话语，放在使用该实例制作的相册之后都可以尝试下，哈~效果图：实例用到的一些CSS3的新属性： a、-webkit-perspective: 800px; perspective （透视，视角）
2017-09-18 20:08:09
938
原创 HTML5 CSS3专题 纯CSS打造相册效果
今天偶然发现电脑里面还有这样的一个例子，感觉效果还不错，不记得啥时候下载的了，也好久没上w3cfuns了，怀念学习前台的日子，给大家分享下。效果图：效果是不是还是很不错的，最主要的是没有使用一行js，这才是亮点。先看html文件：[html] view plain copybody> div
2017-09-18 20:03:25
2395
原创 Java数据结构动态规划
一、基本概念 动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。二、基本思想与策略 基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解提供了有用的信息。在求解任一子问题时，列出各种可能
2017-09-16 11:27:49
444
原创 Java数据结构贪心算法
贪心算法一、基本概念： 所谓贪心算法是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的仅是在某种意义上的局部最优解。 贪心算法没有固定的算法框架，算法设计的关键是贪心策略的选择。必须注意的是，贪心算法不是对所有问题都能得到整体最优解，选择的贪心策略必须具备无后效性，即某个状态以后的过程不会影响以前的状态，只与当前
2017-09-16 11:23:19
1111
原创 Java数据结构基础
一、概论数据结构+算法=程序。1、数据结构分为：数据，数据元素和数据项。数据结构指数据元素之间存在的关系。2、算法：有穷性，确定性，输入，输出，可行性。一个简单语句的时间复杂度为O(1)。int count=0; 一个循环的时间复杂度为O(n)。int n=8, count=0;for (int i=1; i count++;时间复杂度
2017-09-16 11:16:20
575
原创 HTML和CSS
css:层叠样式表cascading stylesheetcss标准也是由w3c制定的css用来设置html外观样式的使用方法：1、内联样式；2、内部样式表；3、外部样式表1、内联样式：在html标记中的style属性中嵌入css缺点：不能重复使用，会导致代码重复2、内部样式表：在HTML的head标记中加入标签，将css写入标记中，在style标记中需要先使用选择器将HT
2017-09-14 21:09:41
705
转载 Java 基础总结
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.UnsupportedEncodingException; import java.net.MalformedURLException; import j
2017-09-13 21:09:38
194
原创 java正则表达式表单验证类工具类(验证邮箱、手机号码、qq号码等)
import java.util.regex.Matcher; import java.util.regex.Pattern; /** * 使用正则表达式进行表单验证 * */ public class Test { static boolean flag = false; static String regex = "";
2017-09-13 21:07:21
442
原创 Timer与TimerTask
简单用例:this.timerLabel = new JLabel("剩余时间 "+time+" s",JLabel.CENTER);private Timer timer ;/*** 计时方法*/private void timer(){this.timer = new Timer(true);timer.schedule(new TimerTask
2017-09-13 19:24:45
279
1
hadoop-eclipse-plugin
2017-10-23
hadoop_dll_winutil_2.7.1.zip
2017-10-20
机器学习实战
2017-10-11
python基础教程
2017-10-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人