自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

你心中的灯

不学无术

  • 博客(2)
  • 资源 (15)
  • 收藏
  • 关注

原创 Linux下查看物理CPU和逻辑CPU个数

一、概念1、物理CPU插槽上的CPU个数,物理cpu数量等于不同physical id的个数。2、逻辑CPU /proc/cpuinfo是用来存储cpu硬件信息的,信息内容分别列出了processor 0到 processor n-1 的规格,n是逻辑cpu数。一般情况,我们认为一颗cpu可以有多核,加上intel的超线程技术(HT),可以在逻辑上再分几倍数量的cpu

2016-11-23 11:43:22 19641 4

原创 FileInputFormat类中split切分算法和host选择算法介绍

在hadoop源码的org.apache.hadoop.mapred包中,有个FileInputFormat类,这个类的主要作用是提供统一的getSplits函数。该函数实现中最核心的两个算法是split切分算法 和host选择算法。1、什么是split?它是在逻辑上对输入数据进行的分片,并不会在磁盘上将其切分成分片进行存储。每个split都作为一个独立单位分配给一个task去

2016-11-22 14:21:11 3145 1

Hadoop完全分布式详细安装过程

Hadoop安装有三种模式:单机、伪分布式、完全分布式,本文档为完全分布式安装,过程很详细,设计内容包括:在win7上安装虚拟化工具VMware(用于支撑Linux系统),在VMware上安装Ubuntu系统,安装Hadoop前的准备工作(安装JDK和SSH服务),配置Hadoop,安装eclipse(为了方便开发过程),运行一个简单的Hadoop程序(WordCount.java)等。

2016-11-23

程序员面试宝典(PDF完整版).pdf

本书是《程序员面试宝典》的第三版,在保留第二版的数据结构、面向对象、程序设计等主干的基础上,使用各大IT公司及相关企业最新面试题替换和补充原内容,以反映自第一版以来近几年时间所发生的变化。 本书取材于各大公司面试真题(笔试、口试、电话面试、英语面试,以及逻辑测试和智商测试),详细分析了应聘程序员(含网络、测试等)职位的常见考点。本书不仅对传统的C系语言考点做了详尽解说,还根据外企出题最新特点,新增加了对友元、Static、图形/音频、树、栈、ERP等问题的深入讲解。最后本书着力讲述了如何进行英语面试和电话面试,并对求职中签约、毁约的注意事项及群体面试进行了解析。本书的面试题除了有详细解析和答案外,对相关知识点还有扩展说明。真正做到了由点成线,举一反三,对读者从求职就业到提升计算机专业知识都有显著帮助。 本书适合计算机相关专业应届毕业生阅读,也适合作为正在应聘软件行业的相关就业人员和计算机爱好者的参考书。 读者对象:本书适合计算机相关专业应届毕业生阅读,也适合作为正在应聘软件行业的相关就业人员和计算机爱好者的参考书。

2016-11-23

剑指offer答案全集

剑指offer,对于算法初学者和求职者是个不错的选择。

2016-11-23

pthread手册.doc

pthread使用手册

2016-11-15

Linux命令大全.pdf

详细介绍了Linux系统中所有的命令操作。

2016-11-15

Linux高性能服务器编程.pdf

本书是Linux服务器编程领域的经典著作,由资深Linux软件开发工程师撰写,从网络协议、服务器编程核心要素、原理机制、工具框架等多角度全面阐释了编写高性能Linux服务器应用的方法、技巧和思想。不仅理论全面、深入,抓住了重点和难点,还包含两个综合性案例,极具实战意义。 全书共17章,分为3个部分:第一部分对Linux服务器编程的核心基础——TCP/IP协议进行了深入的解读和阐述,包括TCP/IP协议族、TCP/IP协议,以及一个经典的TCP/IP通信案例;第二部分对高性能服务器编程的核心要素进行了全面深入的剖析,包含Linux网络编程API、高级I/O函数、Linux服务器程序规范、高性能服务器程序框架、I/O复用、信号、定时器、高性能I/O框架库Libevent、多进程编程、多线程编程、进程池和线程池等内容,原理、技术与方法并重;第三部分从侧重实战的角度讲解了高性能服务器的优化与监测,包含服务器的调制、调试和测试,以及各种实用系统监测工具的使用等内容。

2016-11-15

linux多线程编程指南.pdf

《多线程编程指南》介绍了Solaris操作系统(Solaris Operating System,Solaris OS)中POSIX线程和Solaris线程的多线程编程接口。本指南将指导应用程序程序员如何创建新的多线程程序以及如何向现有的程序中添加多线程。

2016-11-15

Hadoop实战-陆嘉恒(高清完整版).pdf

本书是一本系统且极具实践指导意义的Hadoop工具书和参考书。内容全面,对Hadoop整个技术体系进行了全面的讲解,不仅包括HDFS和MapReduce这两大核心内容,而且还包括Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等与Hadoop相关的子项目的内容。实战性强,为各个知识点精心设计了大量经典的小案例,易于理解,可操作性强。 全书一共18章:第1章全面介绍了Hadoop的概念、优势、项目结构、体系结构,以及它与分布式计算的关系;第2章详细讲解了Hadoop集群的安装和配置,以及常用的日志分析技巧;第3章分析了Hadoop在Yahoo!、eBay、Facebook和百度的应用案例,以及Hadoop平台上海量数据的排序;第4-7章深入地讲解了MapReduce计算模型、MapReduce应用的开发方法、MapReduce的工作机制,同时还列出了多个MapReduce的应用案例,涉及单词计数、数据去重、排序、单表关联和多表关联等内容;第8-11章全面地阐述了Hadoop的I/O操作、HDFS的原理与基本操作,以及Hadoop的各种管理操作,如集群的维护等;第12-17章详细而系统地讲解了Hive、HBase、Mahout、Pig、ZooKeeper、Avro、Chukwa等所有与Hadoop相关的子项目的原理及使用,以及这些子项目与Hadoop的整合使用;第18章以实例的方式讲解了常用Hadoop插件的使用和Hadoop插件的开发。 本书既适合没有Hadoop基础的初学者系统地学习,又适合有一定Hadoop基础但是缺乏实践经验的读者实践和参考。

2016-11-15

Hadoop权威指南-中文版.pdf

本书完全通过案例学习来展示如何用Hadoop解决特殊问题,它将帮助您: 使用Hadoop分布式文件系统(HDFS)来存储海量数据集,通过MapReduce对这些数据集运行分布式计算.. 熟悉Hadoop的数据和I/O构件,用于压缩、数据集成、序列化和持久处理 洞悉编写MapReduce实际应用程序时常见陷阱和高级特性 设计、构建和管理专用的Hadoop集群或在云上运行Hadoop 使用Pig这种高级的查询语言来处理大规模数据 利用HBase这个Hadoop数据库来处理结构化和半结构化数据 学习Zookeeper,这是一个用于构建分布式系统的协作原语工具箱 如果您拥有海量数据,无论是GB级还是PB级,Hadoop都是完美的选择。本书是这方面最全面的参考。

2016-11-15

Hadoop技术内幕:深入解析MapReduce架构设计与实现原理.pdf

“Hadoop技术内幕”共两册,分别从源代码的角度对“Common+HDFS”和“MapReduce的架构设计和实现原理”进行了极为详细的分析。《Hadoop技术内幕:深入解析MapReduce架构设计与实现原理》由Hadoop领域资深的实践者亲自执笔,首先介绍了MapReduce的设计理念和编程模型,然后从源代码的角度深入分析了RPC框架、客户端、JobTracker、TaskTracker和Task等MapReduce运行时环境的架构设计与实现原理,最后从实际应用的角度深入讲解了Hadoop的性能优化、安全机制、多用户作业调度器和下一代MapReduce框架等高级主题和内容。本书适合Hadoop的二次开发人员、应用开发工程师、运维工程师阅读。

2016-11-15

C++ Concurrency in Action中文版

本书是一本基于C++11新标准的并发和多线程编程深度指南。从std::thread、std::mutex、std::future和std::async等基础类的使用,到内存模型和原子操作、基于锁和无锁数据结构的构建,再扩展到并行算法、线程管理,最后还介绍了多线程代码的测试工作。本书的附录部分还对C++11新语言特性中与多线程相关的项目进行了简要的介绍,并提供了C++11线程库的完整参考。 本书适合于需要深入了解C++多线程开发的读者,以及使用C++进行各类软件开发的开发人员、测试人员。对于使用第三方线程库的读者,也可以从本书后面的章节中了解到相关的指引和技巧。同时,本书还可以作为C++11线程库的参考工具书。

2016-11-15

鸟哥的Linux私房菜基础篇-第三版.pdf

《鸟哥的Linux私房菜:基础学习篇》,全面而详细地介绍了Linux操作系统。全书分为5个部分:第一部分着重说明Linux的起源及功能,如何规划和安装Linux主机;第二部分介绍Linux的文件系统、文件、目录与磁盘的管理;第三部分介绍文字模式接口shell和管理系统的好帮手shell脚本,另外还介绍了文字编辑器vi和vim的使用方法;第四部分介绍了对于系统安全非常重要的Linux账号的管理,以及主机系统与程序的管理,如查看进程、任务分配和作业管理;第五部分介绍了系统管理员(root)的管理事项,如了解系统运行状况、系统服务,针对登录文件进行解析,对系统进行备份以及核心的管理等。

2016-11-15

数据结构复习重点.pdf

总结了数据结构主要的学习点,对于初学者理清学习思路很有帮助。对于准备考试的同学,更是事半功倍!

2016-11-15

数据挖掘导论_中文_完整版_pdf

《数据挖掘导论(完整版)》全面介绍了数据挖掘的理论和方法,旨在为读者提供将数据挖掘应用于实际问题所必需的知识。《数据挖掘导论(完整版)》涵盖五个主题:数据、分类、关联分析、聚类和异常检测。除异常检测外,每个主题都包含两章:前面一章讲述基本概念、代表性算法和评估技术,后面一章较深入地讨论高级概念和算法。目的是使读者在透彻地理解数据挖掘基础的同时,还能了解更多重要的高级主题。此外,书中还提供了大量示例、图表和习题。 《数据挖掘导论(完整版)》适合作为相关专业高年级本科生和研究生数据挖掘课程的教材,同时也可作为数据挖掘研究和应用开发人员的参考书。

2016-11-15

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除