weixin_43841494的博客

原创 一级指针和二级指针的区别

p 这种写法中p本身就是指针，&p（取指针p的地址）的数据类型则是二级指针，因此必须定义一个二级指针的变量去声明&p；是将 p的地址赋给了 *ptr,即 *ptr = 0x00001235（指针p在内存中的内存地址）总结 : 指针来看，* 只需要理解为取值的动作，看懂 * 后面变量所对应的值是什么才最关键；二级指针的本质还是一个指针，它主要便是让我们知道它目前所指的位置是一个指针；看了些资料，大概的意思就是说编译器做了优化，在C中这样写是可以的。上述的写法，我觉得本质还是一级指针的使用；

原创 Hadoop的优化以及新特性

第一章 HDFS的多目录1.NameNode的本地目录配置多个，且每个目录的存放内容相同，增加可靠性。2.DataNode可以配置多喝目录，每个存储的数据不一样（数据不是副本，不需要和元数据要求一模一样）。3.集群数据均衡之磁盘数据均衡，生产环境，可能会由于硬盘空间不足，需要增加一块硬盘，对于刚添加的磁盘执行均衡命令。第二章 集群扩容及缩容1.添加白名单，表示只有在白名单中主机IP地址的主机才能用来存储数据，同时还可以防止黑客的恶意攻击。2.服役新服务器，指的是业务的增长，需要增加相应的服务器，

原创 搞懂这幅图，Hadoop大数据基础篇信手拈来

原创 MapReduce的详细工作流程

MR的详细工作流程上图给的是MR（任务：将200M的数据按照单子首字母是a-p，q-z分为两个区）的工作流程1.获取将要处理的文本数据2.将数据进行切片处理3.提交所需的基本信息，class文件等4.计算Map阶段应该需要几个MapTask（和切片的数量有关，一般128M就会切成一片）5.将切片切好的数据块，调用RecorderReader类，读取数据6.将5中读取完成的数据交给MapTask处理，处理之后的结果就是一种以键值对存在的数据，通过Context中的write方法将其写出7.在

原创 大数据Hadoop之MR(Map与Reduce)

1. MapRedue的认识MapReduce是一个分布式运算程序的编程框架，是Hadoop数据分析的核心框架。2.MR的优缺点优点1.易于编程简单实现一些接口，便可完成一个分布式程序2.良好的扩展性计算资源得不到满足的时候，可以简单的增加机器来扩展计算能力（增加的机器不用太好，普普通通就可以了）3.高容错性在进行运算的时候，其中一台机器发生损坏，可以把上面的计算任务转移到另外的一个节点上运行，不会导致任务运行失败4.适合PB级别以上的海量数据的离线处理可以实现上前台服务器的并发工作（

原创 爬取猫眼电影top100

2020.12.3爬取猫眼电影的心得一、遇见的问题1首先在使用正则表达式的时候，使用并不是很熟练，根据某些大神的操作去模仿他的书写规范，编译之后出现获取不到数据的现象。根据模仿来的书写规范之后，一直也编译不出来（太菜了0.0），最后使用的方法就是简单粗暴，不使用“+”，直接在后面使用正则表达式（很长）后面还有很多0.0虽然很low，但是却解决了获取不到数据的问题。二、遇见的问题2爬取的是猫眼的TOP100，网上代码很多，确实大部分的代码都是可以运行的，但是我在代码编译的时候，出现爬取到第三页的