- 博客(56)
- 资源 (31)
- 收藏
- 关注
原创 MapReduce中job参数及设置map和reduce的个数
map的个数在map阶段读取数据前,FileInputFormat会将输入文件分割成split。split的个数决定了map的个数。影响map个数,即split个数的因素主要有:1)HDFS块的大小,即HDFS中dfs.block.size的值。如果有一个输入文件为1024m,当块为256m时,会被划分为4个split;当块为128m时,会被划分为8个split。2
2017-09-29 11:46:04 5492
原创 hadoop 常用命令
hadoop Apache版本的启动命令start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrackstop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTr
2017-09-29 11:33:52 521
原创 HDFS命令行文件操作
Hadoop文件操作命令形式为hadoop fs -cmd 说明:cmd是具体的文件操作命令,是一组数目可变的参数。Hadoop最常用的文件操作命令,包括添加文件和目录、获取文件、删除文件等。1 添加文件和目录HDFS有一个默认工作目录/usr/$USER,其中$USER是你的登录用户名,作者的用户名是root。该目录不能自动创建,需要执行mkdir命令创建
2017-09-29 11:33:07 731
原创 HDFS原理分析
DFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。一、HDFS的主要设计理念1、存储超大文件这里的“超大文件”是指几百MB、GB甚至TB级别的文件。2、最高效的访问模式是 一次写入、多次读取(流式数据访问)HDFS存储的数据集作为hadoop的分析对象。在数据集生成后,长时间在此数据集上进行各种分析
2017-09-29 11:32:11 277
转载 阿里巴巴Java规范开发手册
编程规约,命名风格,常量定义,代码格式,OOP规约,集合处理,并发处理,控制语句,注释规约,异常日志,异常处理,日志规约,安全规约,单元测试,MySQL数据库,SQL语句,ORM映射,工程结构,应用分层,服务器,建表和索引规约。
2017-09-29 09:28:21 1528 1
原创 数组去重 JavaScript 和Java
JavaScript 数组去重是面试中经常问到的问题[html] view plain copyvar arr=[1,3,4,52,4,5,4,8,7,6]; 第一种方法:使用ES5中的indexOf进行去重:[javascript] view plain copyfunc
2017-09-28 11:04:57 228
原创 汉诺塔的递归算法
算法:当只有一个盘子的时候,只需要从将A塔上的一个盘子移到C塔上。 当A塔上有两个盘子时,先将A塔上的1号盘子(编号从上到下)移动到B塔上,再将A塔上的2号盘子移动的C塔上,最后将B塔上的小盘子移动到C塔上。 当A塔上有3个盘子时,先将A塔上编号1至2的盘子(共2个)移动到B塔上(需借助C塔),然后将A塔上的3号最大的盘子移动到C塔,最后
2017-09-27 15:21:27 639
原创 DOM
1.DHTML:实现⽹页动态效果的技术的统称2.DHTML=HTML + CSS +JavaScript(宿主环境是DOM和BOM)3.DHTML对象模型:window: 代表当前打开的浏览器窗⼝history: 当前窗⼝本次打开后的历史记录navigator: 封装浏览器软件的版本和信息document: 代表当前窗⼝加载的⽹页⽂件location: 封装了当前窗⼝正
2017-09-27 10:36:36 287
原创 BOM
BOM : Browser Object Model , 浏览器对象模型,用于来访问和操纵浏览器窗⼝ ,使JavaScript有能⼒与浏览器“对话”。www.neworigin.net1.通过使用BOM , 可移动窗⼝ , 更改状态栏⽂本 ,执⾏其他不予页面内容发⽣直接联系的操作2.没有相关标准,被⼴泛使用BOM模型的对象:window:表示打开的浏览器窗⼝sc
2017-09-27 10:28:20 376
原创 jQuery
⼀、jQuery的使用1. jQuery: jQuery 是一个 JavaScript 库。jQuery 极⼤地简化了 JavaScript 编程。2. jQuery的使用步骤:2.1.引入jQuery文件2.2.使用选择器定位元素CSS的选择器 #id .class element ...getElementById() -> $("#id")getEle
2017-09-27 10:13:51 792
原创 Ajax原生与jQuery
四步走: 1.创建XMLHttpRequest核心对象; 2.注册监听; 3.建立连接; 4.发送数据;第一步:创建XMLHttpRequest核心对象varxhr = newXMLHttpRequest();兼容写法: function getXhr(){ varxhr=null;
2017-09-27 09:57:04 767
原创 Python 常见面试题(不断更新)
问题1到底什么是Python?你可以在回答中与其他技术进行对比(也鼓励这样做)。答案下面是一些关键点:Python是一种解释型语言。这就是说,与C语言和C的衍生语言不同,Python代码在运行之前不需要编译。其他解释型语言还包括PHP和Ruby。Python是动态类型语言,指的是你在声明变量时,不需要说明变量的类型。你可以直接编写类似x=111和x="I'm a s
2017-09-26 21:21:42 491
原创 java基础补充
流Java所有的流类位于java.io包中,都分别继承字以下四种抽象流类型。Type字节流字符流输入流InputStreamReader输出流OutputStreamWriter继承自InputStream/OutputStream的流
2017-09-26 20:18:06 1239
原创 Python注意事项和误区
Python是一种解释性、面向对象并具有动态语义的高级程序语言。它内建了高级的数据结构,结合了动态类型和动态绑定的优点,这使得它在快速应用开发中非常有吸引力,并且可作为脚本或胶水语言来连接现有的组件或服务。Python支持模块和包,从而鼓励了程序的模块化和代码重用。关于这篇文章Python简单易学的语法可能会使Python开发者–尤其是那些编程的初学者–忽视了它的一些微妙的地方并低
2017-09-26 17:28:37 1149
原创 Java的前期绑定和后期绑定
涉及到继承,可能使得待访问的类资源有多个定义,那么该何时和如何确定具体访问哪个定义呢?这个过程就是绑定过程。绑定分为前期绑定和后期绑定。在编译过程中,所有类资源(一般数据成员,静态数据成员,一般方法,静态方法)的前期绑定一定进行;在运行过程中,一般方法类资源的后期绑定一定进行,但是由“final或者private符号”修饰的一般方法类资源不进行后期绑定。后期绑定的作用结果能够覆盖前期绑定的作用结果
2017-09-26 17:20:09 635
原创 Python闭包
举例:# -*-( coding: utf-8 -*def fa(m):def fb(n):return m+n;return fb;a=10;b=20;print fa(a)(b);>>>30一、定义python中的闭包从表现形式上定义(解释)为:如果在一个内部函数里,对在外部作用域(但不是在全局作用域)的变量进行引用,那么内部函数就被认为是闭
2017-09-26 15:35:35 337
原创 js正则表达式
1.正则表达式基本语法两个特殊的符号'^'和'$'。他们的作用是分别指出一个字符串的开始和结束。例子如下:"^The":表示所有以"The"开始的字符串("There","The cat"等);"of despair$":表示所以以"of despair"结尾的字符串;"^abc$":表示开始和结尾都是"abc"的字符串——呵呵,只有"abc"自己了;"notice":表示
2017-09-26 10:25:23 974 1
原创 Python常用标准库使用
本章涉及标准库:1、sys2、os3、glob4、math5、random6、platform7、pikle与cPikle8、subprocess9、Queue10、StringIO11、logging12、ConfigParser13、urllib与urllib214、js
2017-09-26 08:57:23 649
原创 Python 基础
Python支持将值格式化为字符串。虽然这可以包括非常复杂的表达式,但最基本的用法是将值插入到%s 占位符的字符串中 。编辑: 这是一个非常简单的例子:name = raw_input("who are you?")print "hello %s" % (name,)该 %s 令牌允许我插入(和潜在的格式)的字符串。请注意, %s 令牌被替换为% 符号后传递给字符
2017-09-25 09:45:03 690
原创 Python中的random模块
Python中的random模块用于生成随机数。下面介绍一下random模块中最常用的几个函数。random.randomrandom.random()用于生成一个0到1的随机符点数: 0 random.uniform random.uniform的函数原型为:random.uniform(a, b),用于生成一个指定范围内的随机符点数,两个参数其中一个是上限,一
2017-09-25 08:44:15 237
原创 Java Calendar 类的时间操作
Java Calendar 类时间操作,这也许是创建和管理日历最简单的一个方案,示范代码很简单。演示了获取时间,日期时间的累加和累减,以及比较。原文地址:blog.csdn.net/joyous/article/details/9630893注意事项:Calendar 的 month 从 0 开始,也就是全年 12 个月由 0 ~ 11 进行
2017-09-23 17:18:16 501
原创 Python
Python进阶(一)-初识Python数据元素:列表&元组 毕业论文已完成,下面就是等待盲审结果了。在此期间,已感觉论文无从看起。就学习一下Python吧,听说这是一门很神奇的语言。下面言归正传~ 在线文档查询:点击查看 IDE:IntelJ。 有关IntelJ的安装与注册详见博文《IntelliJ IDEA 2016注册方法和注册码》。 下面介绍一下P
2017-09-23 14:38:03 14867 2
转载 IntelliJ IDEA 2016&2017注册方法和注册码
IntelliJ IDEA 2016&2017注册方法和注册码 题外话:看到IntelliJ的启动界面,不得不说画面做的太炫了! IntelliJ IDEA号称当前Java开发效率最高的IDE工具。IntelliJ IDEA有两个版本:社区版(Community)和旗舰版(Ultimate)。社区版时免费的、开源的,但功能较少,旗舰版提供了较多的功能,是收费的,可以试
2017-09-23 14:36:15 3140
原创 JDBC之Statement,PreparedStatement,CallableStatement的区别
Statement 每次执行sql语句,数据库都要执行sql语句的编译 ,最好用于仅执行一次查询并返回结果的情形,效率高于PreparedStatement. PreparedStatement是预编译的,使用PreparedStatement有几个好处 a. 在执行可变参数的一条SQL时,PreparedStatement比Statement的效率高,因为DBMS预编译一
2017-09-23 11:59:42 660
原创 SQL一般面试题
几个表employees 表: EMPLOYEE_ID NUMBER(6) FIRST_NAME VARCHAR2(20) LAST_NAME VARCHAR2(25) EMAIL
2017-09-20 08:15:30 10154
原创 数据结构之八皇后问题以及最短路径
1. 八皇后问题八皇后问题,是一个古老而著名的问题,是回溯算法的典型案例。该问题是国际西洋棋棋手马克斯·贝瑟尔于1848年提出:在8X8格的国际象棋上摆放八个皇后,使其不能互相攻击,即任意两个皇后都不能处于同一行、同一列或同一斜线上,问有多少种摆法。 高斯认为有76种方案。1854年在柏林的象棋杂志上不同的作者发表了40种不同的解,后来有人用图论的方法解出92种结果。计算机发明后,有多种
2017-09-18 21:11:34 1838
转载 设计模式 状态模式 以自动售货机为例
先看定义:允许对象在内部状态改变时改变它的行为,对象看起来好像修改了它的类。定义又开始模糊了,理一下,当对象的内部状态改变时,它的行为跟随状态的改变而改变了,看起来好像重新初始化了一个类似的。下面使用个例子来说明状态模式的用法,现在有个自动售货机的代码需要我们来写,状态图如下:分析一个这个状态图:a、包含4个状态(我们使用4个int型常量来表示)b、包含
2017-09-18 21:10:17 493
原创 为什么说Java匿名内部类是残缺的闭包
我们先来看一道很简单的小题:public class AnonymousDemo1{ public static void main(String args[]) { new AnonymousDemo1().play(); } private void play() { Dog dog = new Dog();
2017-09-18 21:08:58 324
原创 Mysql常见知识点
2.外键的使用需要满足下列的条件:(这里涉及到了InnoDB的概念) 1. 两张表必须都是InnoDB表,并且它们没有临时表。 注:InnoDB是数据库的引擎。MySQL常见引擎有两种:InnoDB和MyISAM,后者不支持外键。 2. 建立外键关系的对应列必须具有相似的InnoDB内部数据类型。 3. 建立外键关系的对应列必须建立了索引。
2017-09-18 20:50:44 666 1
转载 Java 将字节数组转化为16进制的多种方案
很多时候我们需要将字节数组转化为16进制字符串来保存,尤其在很多加密的场景中,例如保存密钥等。因为字节数组,除了写入文件或者以二进制的形式写入数据库以外,无法直接转为为字符串,因为字符串结尾有\0,当然肯定还有其他原因。下面提供几种Java中使用的方案:方案一:直接利用BigInteger的方法,应该是最简单的方案了。[java] view plain
2017-09-18 20:37:46 580
转载 Java爬虫,信息抓取的实现
今天公司有个需求,需要做一些指定网站查询后的数据的抓取,于是花了点时间写了个demo供演示使用。思想很简单:就是通过Java访问的链接,然后拿到html字符串,然后就是解析链接等需要的数据。技术上使用Jsoup方便页面的解析,当然Jsoup很方便,也很简单,一行代码就能知道怎么用了:[java] view plain copy
2017-09-18 20:32:32 456
原创 HTML5 CSS3专题 诱人的实例 CSS3打造百度贴吧的3D翻牌效果 以及图片提交
今天给大家带来一个CSS3制作的翻牌效果,就是鼠标移到元素上,感觉可以看到元素背后的信息。大家如果制作考验记忆力的连连看、扑克类的游戏神马的,甚至给女朋友写一些话语,放在使用该实例制作的相册之后都可以尝试下,哈~效果图:实例用到的一些CSS3的新属性: a、-webkit-perspective: 800px; perspective (透视,视角)
2017-09-18 20:08:09 940
原创 HTML5 CSS3专题 纯CSS打造相册效果
今天偶然发现电脑里面还有这样的一个例子,感觉效果还不错,不记得啥时候下载的了,也好久没上w3cfuns了,怀念学习前台的日子,给大家分享下。效果图:效果是不是还是很不错的,最主要的是没有使用一行js,这才是亮点。先看html文件:[html] view plain copybody> div
2017-09-18 20:03:25 2396
原创 Java数据结构动态规划
一、基本概念 动态规划过程是:每次决策依赖于当前状态,又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的,所以,这种多阶段最优化决策解决问题的过程就称为动态规划。二、基本思想与策略 基本思想与分治法类似,也是将待求解的问题分解为若干个子问题(阶段),按顺序求解子阶段,前一子问题的解,为后一子问题的求解提供了有用的信息。在求解任一子问题时,列出各种可能
2017-09-16 11:27:49 444
原创 Java数据结构贪心算法
贪心算法一、基本概念: 所谓贪心算法是指,在对问题求解时,总是做出在当前看来是最好的选择。也就是说,不从整体最优上加以考虑,他所做出的仅是在某种意义上的局部最优解。 贪心算法没有固定的算法框架,算法设计的关键是贪心策略的选择。必须注意的是,贪心算法不是对所有问题都能得到整体最优解,选择的贪心策略必须具备无后效性,即某个状态以后的过程不会影响以前的状态,只与当前
2017-09-16 11:23:19 1111
原创 Java数据结构基础
一、概论数据结构+算法=程序。1、数据结构分为:数据,数据元素和数据项。数据结构指数据元素之间存在的关系。2、算法:有穷性,确定性,输入,输出,可行性。一个简单语句的时间复杂度为O(1)。int count=0; 一个循环的时间复杂度为O(n)。int n=8, count=0;for (int i=1; i count++;时间复杂度
2017-09-16 11:16:20 575
原创 HTML和CSS
css:层叠样式表cascading stylesheetcss标准也是由w3c制定的css用来设置html外观样式的使用方法:1、内联样式;2、内部样式表;3、外部样式表1、内联样式:在html标记中的style属性中嵌入css缺点:不能重复使用,会导致代码重复2、内部样式表:在HTML的head标记中加入标签,将css写入标记中,在style标记中需要先使用选择器将HT
2017-09-14 21:09:41 706
转载 Java 基础总结
import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.UnsupportedEncodingException; import java.net.MalformedURLException; import j
2017-09-13 21:09:38 194
原创 java正则表达式表单验证类工具类(验证邮箱、手机号码、qq号码等)
import java.util.regex.Matcher; import java.util.regex.Pattern; /** * 使用正则表达式进行表单验证 * */ public class Test { static boolean flag = false; static String regex = "";
2017-09-13 21:07:21 443
原创 Timer与TimerTask
简单用例:this.timerLabel = new JLabel("剩余时间 "+time+" s",JLabel.CENTER);private Timer timer ;/*** 计时方法*/private void timer(){this.timer = new Timer(true);timer.schedule(new TimerTask
2017-09-13 19:24:45 279 1
hadoop-eclipse-plugin
2017-10-23
hadoop_dll_winutil_2.7.1.zip
2017-10-20
机器学习实战
2017-10-11
python基础教程
2017-10-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人