自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 不同版本SQL数据库备份和还原

不同版本SQL Server数据库备份还原存在问题,不能从高版本的数据库导入到低版本数据中(包括整个数据库拷贝和备份的.bak还原)。介绍一种数据库脚本还原,可以很好地解决这个问题。 一、生成脚本文件1.右键选择需要备份的数据库。选择任务——生成脚本。     .2.点击下一步。     3.到达页面后选择要保存的路径和文件名 4.点击高级——要编写脚本的数...

2018-07-11 16:39:19 11855

原创 HTML中强制不换行标签(包括表头)

html强制不换行标签:<nobr></nobr>表格中设置表头不换行:<table id="example1" class="table table-bordered" style="width:440px;height:400px;margin-left:3px;margin-top:11px; "> <thead

2018-07-11 14:43:56 6884

原创 js调用jQuery中函数的方法和jQuery调用js中函数的方法

js调用jQuery方法:function getResult(){ //调用方式 $().getFuc();};//获取文本框值$(function(){ //名字为getFuc的jQuery方法 $.fn.getFuc=function(){ alert("1111111111111"); }}); jQuery调用js...

2018-05-28 14:38:32 31591

原创 js解决获取当前页面href中文乱码问题

function Values() { var result; var url = decodeURIComponent(window.location.href); alert(url); if (url.indexOf("?") != -1) { resul...

2018-05-28 12:02:28 1646

原创 大数据—Hadoop之MapReduce练习

一、单表索引    实现步骤:①map阶段将读入数据分割成child和parent之后,将parent设置成key,child设置成value进行输出,并作为左表;再将同一对child和parent中的child设置成key,parent设置成value进行输出,作为右表②为了区分输出中的左右表,需要在输出的value中再加上左右表的信息,比如在value的String最开始处加上字符...

2018-01-30 09:25:05 876

原创 大数据—Hadoop之MapReduce流程(二)

一、Combiner   为什么需要进行Map规范操作?①网络带宽严重被占降低程序效率②单一节点承载过重降低程序性能。为了解决两个问题,在MapReduce编程模型中,在Mapper和Reducer之间有一个非常重要的组件——Combiner。     ①与Mapper和Reduce不同的是,Combiner没有默认的实现,需要显式的设置在conf中才有作用。②并不是所有的job都使用Co...

2018-01-29 19:43:40 289

原创 大数据—Hadoop之MapReduce机制和工作流程

 MapReduce学习总结     1.Mapreduce是什么?        Hadoop  Mapreduce是一个软件框架,基于这个框架能够容易的编写应用程序,这些应用程序能够运行在上千个商用机器组成的大集群上,并以一种可靠的,具有容错能力的方式并行的处理上TB级别的海量数据集。Mapreduce具有:①软件框架②并行处理③可靠且容错④大规模集群⑤海量数据。    2.Map...

2018-01-28 22:31:25 995

转载 大数据—Hadoop之HDFS基于文件的数据结构

一、基于文件的数据结构   HDFS和MR主要针对大数据文件来设计,在小文件处理上效率低,解决方法是原则一个容器,将这些小文件包装起来,将整个文件作为一条记录,可以获取更高效率的储存和处理,避免多次打开关闭流耗费计算资源。  具体流程:①在原有HDFS基础上添加一个小文件处理模块。②当用户上传文件时,判断该文件是否属于小文件,如果是,则交给小文件处理模块处理,否则,交给通用文件处理模块处理...

2018-01-26 19:42:43 1179

原创 大数据—Hadoop的HDFS数据完整性校验

一、HDFS数据完整性       Hadoop提供两种校验        1.校验和          Hdfs会对写入的所有数据计算校验和,并在读取数据时验证校验和。元数据节点负责在验证收到的数据后,储存数据及其及其校验和。在收到客户端数据或复制其他datanode的数据时执行。正在写数据的客户端将数据及其校验和发送到一系列数据节点组成的管线,管线的最后一个数据节点负责验证校验和。...

2018-01-26 18:37:17 3777

原创 大数据—Hadoop之HDFS架构

  HDFS架构       一、HDFS访问流程   读取数据操作:用户进行读取数据请求,首先传入Namenode数据块,Namenode将读写信息传给Client,再由Client根据Namenode所给的信息找到数据所在的Datanode,进行读取。   写入数据操作:用户进行写入数据请求,首先传入Namenode数据块,Namenode根据策略寻找出最合适的Da...

2018-01-24 19:37:51 400

原创 大数据分布式系统原理概述

一、分布式系统的理论1、CAP原理  CAP原理指的是,一致性(Consistency)、可用性(Availability)、分区容忍性(Partition tolerance)这三个要素最多只能同时实现两点,不可能三者兼顾。因此在进行分布式架构设计时,必须做出取舍。而对于分布式数据系统,分区容忍性是基本要求 ,否则就失去了价值。因此设计分布式数据系统,就是在一致性和可用性之间取一个平衡。

2018-01-23 23:59:54 3204

原创 大数据一些基础概念

一、大数据  1、什么是大数据?    大数据(Big data或Megadata):大数据,或称巨量数据、海量数据、大资料,指的是所涉及的数据量规模巨大到无法通过人工,在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。  2、大数据特点    ①Volume:数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个

2018-01-22 22:50:42 4363

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除