![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习
文章平均质量分 65
湖面独成双
你等我也等
展开
-
Python超级简单入门学习之python的前世今生
本文章从概述,应用方面以及特点等方面介绍python,让初学者从认识之初就喜欢上python原创 2018-11-28 23:35:13 · 185 阅读 · 0 评论 -
HDFS优缺点
优点:1.支持超大文件 支持超大文件。超大文件在这里指的是几百M,几百GB,甚至几TB大小的文件。一般来说hadoop的文件系统会存储TB级别或者PB级别的数据。所以在企业的应用中,数据节点有可能有上千个。2.检测和快速应对硬件故障 在集群的环境中,硬件故障是常见的问题。因为有上千台服务器连接在一起,这样会导致高故障率。因此故障检测和自动恢复(心跳机制)是hdfs文件系统的一个设计目标...转载 2019-01-04 23:24:57 · 544 阅读 · 0 评论 -
HDFS的具体读、写、删除操作流程
一、读取流程· 1.客户端通过RPC(远程过程调用,特点:能够让客户端人员更加注重业务流程,而不是文件的发送)请求访问NameNodeNameNode查询元数据,获取到文件的存储路径,将文件的所对应全部或者部分(面对多个文件块)文件块的存储路径放入一个队列中再发送给客户端(NameNode给client返回的是内网IP,如果是自己的云主机,要去找对应的vpn,否则无法访问。) 2.客户...原创 2019-01-04 23:21:34 · 771 阅读 · 0 评论 -
hadoop安装后DataNode无法启动
原因: 其中一个原因是由于多次格式化数据目录而导致NameNode中的clusterID和DadaNode中的clusterID不一致 当我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录namespaceID,标识了所格式化的 namenode的版本。 如果我们频繁的格式...原创 2019-01-04 23:07:38 · 512 阅读 · 0 评论 -
HDFS---dfs目录
· 在hadoop的目录中有一个dfs目录,它对于HDFS十分关键,下面我们就介绍一下其子目录以及他们各自的作用:1.存储HDFS中的数据2.子目录:a.data表示DateNode存储数据的目录b.name表示NameNode存储元数据的目录c.namesecondary表示SecondaryNameNode存储元数据的目录3.节点刚格式化完成之后,会自动产生一个dfs/name...原创 2019-01-03 23:41:43 · 2418 阅读 · 0 评论 -
HDFS---回收站
一、概述 1.HDFS回收站默认不开启· 2.Deletion interval = 0 minutes 表示清空周期为0,就以为这如果将数据放入回收站,立即删除· 3.配置回收站 编辑core –site.xml 添加如下内容<property> <name>fs.trash.interval</name> <value...原创 2019-01-03 23:35:40 · 164 阅读 · 0 评论 -
HDFS--梳理各个模块的功能与关系
概述· 1.HDFS是hadoop的一个组件 全称:Hadoop Distributed File System,专门存储超大数据文件,为整个Hadoop生态圈提供了基础的存储服务。一、技术细节 1.用于管理的节点称之为NameNode 2.用于存储的节点称之为DataNode 3.元数据:用于存储NameNode寻找DataNode的信息存储的信息: a.文件...原创 2019-01-03 23:29:12 · 2472 阅读 · 1 评论 -
java入门学习之java简介
JAVA入门学习之java简介一、JAVA之父James Gosling博士以“Java技术之父”闻名于世。他是Java技术的创始人,作为Sun研究院院士,亲手设计了Java语言,完成了Java技术的原始编译器和虚拟机。在他的带领下,Java现已成为互联网的标准编程模式以及分布式企业级应用的事实标准,其跨平台的技术优势为网络计算带来了划时代的变革。目前,Gosling博士积极致力于软件开发工具...原创 2018-11-28 00:41:52 · 202 阅读 · 0 评论 -
Python超级简单入门学习之傻瓜式安装(配置环境变量与Eclipse)
Python的安装和使用1.Python安装配置访问Python官方网站,下载Python安装包http://www.python.org/download/Python目前分为两大版本,互不兼容:2.x.x3.x.x双击安装:python-2.7.13.amd64.msi设置环境变量:1.找到python的安装路径:复制状态栏中的路径2.在控制面板下找到系统与安全选项:...原创 2018-11-29 00:13:28 · 639 阅读 · 0 评论 -
Python超级简单入门学习之基本语法五 IO
重要API IO1.打印print(“abc”)2.键盘读取 raw_input函数读取键盘 这种方式的读取,会将输入当作一个字符串返回str = raw_input(“请输入:”);input函数读取键盘 这种方式的读取,会将输入当作一个表达式执行,返回的是表达式执行后的结果str = input(“请输入:”);3.读写文件open函数操作文件 file...原创 2018-12-08 23:32:46 · 101 阅读 · 0 评论 -
Python超级简单入门学习之基本语法六 异常
异常机制*1.Python内置的异常BaseException :所有异常的基类SystemExit :解释器请求退出KeyboardInterrupt :用户中断执行(通常是输入^C)Exception :常规错误的基类StopIteration :迭代器没有更多的值GeneratorExit ...原创 2018-12-15 23:34:04 · 86 阅读 · 0 评论 -
Python超级简单入门学习 Urllib库
python爬虫基础之Urllib库1.案例1:访问url读取返回结果import urllib2response = urllib2.urlopen("http://www.网址.com")print (response.read()) 说明:urlopen(url, data, timeout) 第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三...原创 2018-12-15 23:58:51 · 130 阅读 · 0 评论 -
Python超级简单入门学习 面向对象
面向对象1.创建类 使用class语句来创建一个新类,class之后为类的名称并以冒号结尾,其中类的体的第一行可以写一个字符串,作为该类的文档声明,这个文档声明可以通过 ClassName.__doc__查看:class ClassName: '类的帮助信息' #类文档字符串 class_suite #类体· 类的体中可以包含 成员属性 成员...原创 2018-12-16 00:09:07 · 159 阅读 · 0 评论 -
Python超级简单入门学习 爬虫的概述
1.爬虫技术概述 · 爬虫,即网络爬虫,就像一个蜘蛛一样在网络的这张大网上爬来爬去,这只蜘蛛可爬到任何一个能去到的地方,去寻找自己需要的信息和价值。通过递归访问网络资源,抓取网络中信息的技术。 互联网中也有大量的有价值的信息数据,手动下载效率非常低下,爬虫就是自动化爬取下载些有价值的信息的技术。 互联网中的页面往往不是独立存在的,而是通过超链接连接成了一个网络,爬虫就像一只蜘蛛...原创 2018-12-15 23:48:50 · 220 阅读 · 0 评论 -
HashMap和Hashtable的几个区别
· HashMap和Hashtable对于程序员来说十分重要,在两者的性质,应用场景,底层的计算,存储的结构等方面都需要我们很好的掌握。那么,两者到底有什么本质上的区别呢?一、线程的安全性· Hashtable是线程安全的,HashMap不是线程安全的。为什么前者是线程安全的呢?我们这时就要看看Hashtable的源码了: public synchronized Map pu...原创 2018-12-20 23:33:48 · 274 阅读 · 0 评论 -
Python超级简单入门学习之基本语法四 模块和包
python语法02: 模块和包1.模块的概念 Python 模块(Module),是一个 Python 文件,以 .py 结尾,其中包含了 Python 对象定义和Python语句。简单来说,一个 Python文件就是一个模块。 Python是以模块为单位来有结构的组织项目的。把相关的代码分配到一个模块里能让你的代码更好用,更易懂。模块能定义函数,类和变量,模块里也能包含可执行的代...原创 2018-12-08 23:20:46 · 134 阅读 · 0 评论 -
Python超级简单入门学习之基本语法一
python语法01:基本语法语法细节a. 编码python2默认使用iso8859-1,python3模式使用utf-8如果python文件本身的编码和以上编码不一致会出现乱码问题此时可以在文件中通过如下注释通知解释器解析当前文件时采用的编码,两码一致可以解决乱码:123 # -*- coding: UTF-8或#coding=ut...原创 2018-12-01 00:05:05 · 271 阅读 · 0 评论 -
Python超级简单入门学习之基本语法二 重要API
本篇为大家讲python一些简单的API,希望能够给学习的伙伴们一些帮助原创 2018-12-04 23:40:43 · 116 阅读 · 0 评论 -
亿万级数据规模下倾斜调优
本文摘录自 腾讯OMG广告平台产品技术黑板报 王浙明 数据倾斜是海量数据处理的一个常见而又棘手的问题,如果在大的数据处理过程中出现了数据倾斜,会大大造成了资源的浪费和降低了效率,而有时候数据倾斜又是隐性,往往没有对数据进行分析就进行处理的话很容易掉入数据倾斜的陷阱里。 那么什么是数据倾斜,我们简单去概述一下。比如说在某个数据处理的过程中,有1000个task去执行,而998个task...原创 2019-02-15 23:09:36 · 278 阅读 · 0 评论