自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(18)
  • 资源 (1)
  • 收藏
  • 关注

原创 spark 最新版1.0本地模式安装_spark入门学习一

1:机器准备(可以是虚拟机)     准备三台linux机器10.33.250.185和10.33.250.186以及10.33.250.187。操作系统:Redhat Linux6。10.33.250.185作为namenode(master)机器,10.33.250.186和10.33.250.187作为datanode(slave)机器。首先个两台服务器定义别名:hado

2014-06-08 10:28:14 1215

原创 hadoop集群安装指南-hadoop3.2.4版本

hadoop集群安装指南-hadoop3.2.4版本

2022-09-19 17:45:59 1822 1

原创 大数据分布式基础-Lease机制简介和应用

Lease机制简介 lease中文叫租约,是一种广泛应用于分布式系统领域的协议,它是一种维护分布式系统一致性的有效工具    lease通常定义为:颁发者在一定期限内给予持有者一定权利的协议。    Lease 表达了颁发者在一定期限内的承诺,只要未过期颁发者必须严格遵守 lease 约定的承诺。    Lease 的持有者在期限内使用颁发者的承诺,但 lease 一旦过期必须

2017-05-16 16:48:28 1674 1

原创 JAVA数据结构-单链表和HashMap

java之单链表单1链表是一种物理存储单元上非连续、非顺序的存储结构。单链表是由那几个部分组成的呢? 是由N个节点组成的       每一个节点分为两部分:       1.数据域       2.指针域数据域用来存储数据,指针域用来链接各个节点。废话不多说,直接上代码!节点的代码如下:public class Node { privat

2017-04-30 22:35:04 4504

原创 JAVA经典算法-冒泡排序和快速排序

1:Java中的经典算法之冒泡排序(Bubble Sort)1) 基本思想:依次比较相邻的两个数,将小数放在前面,大数放在后面。即在第一趟:首先比较第1个和第2个数,将小数放前,大数放后。然后比较第2个数和第3个数,将小数放前,大数放后,如此继续,直至比较最后两个数,将小数放前,大数放后。重复第一趟步骤,直至全部排序完成。2)时间复杂度:冒泡排序总的平均时间复杂度为:O(n2)举例

2017-04-30 11:11:39 657

原创 JAVA基础知识-OOM怎么办

前言:     在介绍OOM之前,首先了解一下java运行时的数据区域。JAVA运行时的数据区1:虚拟机栈,本地方法栈,程序计数器是线程隔离的数据区,属于各个线程私有;2:方法区,推(Heap)由所有线程共享。弄清楚运行时数据区域,是翻越虚拟机内存管理这堵墙的第一步,也是弄清楚OOM的第一步。程序计数器:它是一块较小的内存空间,它的作用可以看做是当线程所

2017-04-30 09:55:23 807

原创 JAVA线程安全机制

前言      在进行java线程安全机制讲解之前,先谈谈java线程和java内存模型的基础知识。一、线程与内存交互操作     所有的变量(实例字段,静态字段,构成数组对象的元素,不包括局部变量和方法参数)都存储在主内存中,每个线程有自己的工作内存,线程的工作内存保存被线程使用到变量的主内存副本拷贝。线程对变量的所有操作都必须在工作内存中进行,而不能直接读写主内存的变量。不同线

2017-04-27 20:43:29 784

转载 java多线程并发机制

一、多线程1、操作系统有两个容易混淆的概念,进程和线程。进程:一个计算机程序的运行实例,包含了需要执行的指令;有自己的独立地址空间,包含程序内容和数据;不同进程的地址空间是互相隔离的;进程拥有各种资源和状态信息,包括打开的文件、子进程和信号处理。线程:表示程序的执行流程,是CPU调度执行的基本单位;线程有自己的程序计数器、寄存器、堆栈和帧。同一进程中的线程共用相同的地址空间,同时共享进

2017-04-27 10:59:33 6500

原创 JAVA基础知识-JVM的GC算法

前言        在学习GC算法之前,先了解GC是什么?说到GC,大家都比较熟悉,垃圾回收(Gabage collectin)嘛; 没错,我觉得在了解GC之前,得先熟悉JVM是怎么分配内存的,然后识别那些内存是需要回收的,最后才是用哪些方式回收。          内存分配    Java的内存分配原理与C/C++不同,C/C++每次申请内存时都要malloc进行系统调用,而系统

2017-04-17 01:11:57 468

原创 spark源码分析-源码编译(1)

写在前面的话 有了丰富的spark大数据处理经验和性能调优经验后,基于对spark高性能内存计算的爱慕,决定揭开其神秘的面纱,一睹芳容。源码编译在进行源码分析之前,最重要的一步是什么? 个人认为先把源码下载到本地,进行源码编译,编译成功后,就可以开启神秘探索的旅程了。万事开头难,no problem,我就喜欢迎难而上。

2017-04-02 03:31:20 464

原创 hbase 0.94.20稳定版_伪分布式安装_hbase入门学习一

1:环境准备(可以是虚拟机)     1:准备虚拟机一台,我安装的是redhat6.4的32位操作系统。2 :修改hostname。使用命令hostname localhost(如需重启后生效,可以 修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可)。另修改/etc/hosts ,用#注释掉默认的文本,添加127.0.0.

2014-06-08 12:15:20 608

原创 Hadoop1.2.1稳定版安装__全分布式模式__Hadoop1.0入门学习一

机器说明有两台linux机器10.33.250.185和10.33.250.186。操作系统:Redhat Linux6。10.33.250.185作为namenode(master)机器,10.33.250.186作为datanode(slave)机器。首先个两台服务器定义别名:hadoop185、hadooop186。定义别名规则:hadoop+IP地址的最后一个区间的数字

2014-04-29 15:20:52 820

原创 Hadoop2.2.0稳定版安装__伪分布式模式__Hadoop2.0入门学习一

一:环境准备1:准备虚拟机一台,我安装的是redhat6.4的32位操作系统。2 :修改hostname。使用命令hostname localhost(如需重启后生效,可以 修改配置文件/etc/sysconfig/network中的HOSTNAME=localhost即可)。另修改/etc/hosts ,用#注释掉默认的文本,添加127.0.0.1 localhost即可。

2013-12-31 15:47:39 1848 4

mysql+tomcat乱码全攻略!

[color=blue]一:mysql引起的乱码解决方案[/color]一般由以下几种原因引起:(1)java中处理中文字符正常,在cmd client中显示乱码是字符集的问题.(2)字段长度设置够长,但插入中文字符时提示 com.mysql.jdbc.MysqlDataTruncation: Data truncation: Data too long for colum...

2008-06-07 01:03:12 134

万维网之父谈Web应用的未来

[size=medium] 2008年4月24日,Web之父Tim Berners-Lee在2008万维网大会上做了题为“Web应用的未来”的主题演讲,Tim首先介绍了当前Web应用的发展现状,当前,Web应用的数据访问和显示的标准和技术相互竞争,Web应用在表现的多样化方面与桌面应用之间越来越相近。 Tim还谈到了社会网络,以及由此带来的数据和应用的可移植性问题。在社会网络站点,应用程...

2008-05-02 16:51:56 231

搜索技术的新疆界

[size=medium] 2008年4月25日,在第十七届万维会大会上,微软全球副总裁沈向洋博士在2008万维网大会上做了题为“搜索技术的新疆界”的主题报告, 沈向洋首先指出了[color=blue]当前搜索领域所关注的三个方面:内容,用户以及搜索行为,[/color]三个方面互相影响,互相交融,构成了目前搜索技术关注的焦点。 对于搜索技术的未来发展,沈向洋博士进一步...

2008-05-02 16:42:59 109

个人个性化搜索是搜索最高境界

[size=medium] 百度首席科学家的威廉·张称,个人个性化搜索是搜索最高境界,百度最近接连推出的即时通讯产品“百度HI”和即将推出的C2C平台,都是百度为“个性化搜索”服务所进行的的提前部署。 4月21至25日,第十七届万维网大会(WWW2008)在北京召开,威廉·张是在主持本次大会专设的“WWWinChina”环节时做上述表示的。 来自国际著名大学、主流研究机构、跨国企业和标准...

2008-05-02 16:35:42 121

浅谈"云计算"

[size=medium] 互联网络的快速发展正在对人们的生活和工作方式产生着深刻影响。继传统的个人计算机、客户/服务器的计算模式之后,崭新的“云计算(Cloud Computing)”模式展现了现代互联网络的重要特质。 事实上,当任何一个人在互联网上提交一个查询请求时,互联网上可能有成千上万台计算机在为他同时搜索众多的数据库,并运用不同的方法为他提供可能的搜索结果。也就是说,人们不...

2008-05-02 16:25:41 159

Git-2.18.0 window下载

Git Windows客户端是一个免费的开源分布式版本控制系统,旨在快速和有效率的处理从小到大的项目。Git PC版易于学习,速度快,使得它超越了Subversion,CVS,Perforce和ClearCase等SCM工具,具有便宜的本地分支,便捷的登台区域和多种工作流程等功能。

2019-03-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除