CatchLight的博客

在观看腾讯云开发者社区打造的纪录片《中国数据库前世今生》时，了解了中国数据库从无到有、破茧化蝶的发展历程。在充满感动和感慨之余，让我不仅想起了在这十年里，被数据库影响的程序员人生。2014年我还在大二，在期末考试的前夕，为了数据库不挂科，我熬夜在笔记本上搭建了第一个MySQL用来练习，后来在大学的课程上又学习了sqlserver、oracle。时间匆匆，六月的毕业季来的总是猝不及防。在毕业的那年，赶上了“去IOE”的浪潮，这标志着oracle的落幕，从此国产化数据库进入了一个全新的时代。

在上一篇跟着官方文档使用docker，在云服务器上搭建了一个单节点的Kafka集群，在云服务器上连接成功，当我在笔记本上使用Spark尝试连接的时候，无法消费到数据。从上图可以看出，我在consumer config中明明将设置成了弹性公网IP，而且在笔记本上Telnet连接Kafka网络也是通的。但是当我启动Spark程序之后，程序应该输出从kakfa中消费的数据，但是程序却卡住了。从日志最后一行可以看到，这里居然连接的是localhost，这肯定是消费不到数据的。

说起Spark，大家就会自然而然地想到Flink，而且会不自觉地将这两种主流的大数据实时处理技术进行比较。然后最终得出结论：Flink实时性大于Spark。的确，Flink中的数据计算是以事件为驱动的，所以来一条数据就会触发一次计算，而Spark基于数据集RDD计算，RDD最小生成间隔就是50毫秒，所以Spark就被定义为亚实时计算。本篇文章主要是利用Spark的滑动窗口，做了一个计算平均响应时长的应用场景，以Kafka作为数据源、通过滑动窗口和reduceByKey算子得以实现。

在大数据的实时数据处理中，不论是使用Spark、还是Flink，都需要与其他组件进行数据交互才有意义。在整个数据流处理中，交互组件的性能决定了数据处理的效率，例如在与缓存中间件Redis的交互，QPS过高就会导致响应过慢，进而表现为程序整体数据处理延时。如何保证组件性能就成为了重中之重，所以在选择组件的时候，我们会根据其测试的性能指标作为参考依据。在大数据实时流处理中，Kafka是用的比较多的数据源组件。其分区机制提高了并发、副本机制保障了数据的高可用。

之前的两篇文章，一篇实现了tab页的新增，一个讲了如何实现滑动块，本篇就来讲一下如何实现tab的关闭，以及tab关闭时滑动块的变换情况。关闭的是滑动块所在的tab，即被激活的tab关闭的是非滑动块所在的tab如何区分是不是滑动块所在的tab呢，用关闭tab的route.path与一比较就可以了。代码看下图：首先直接调用状态变量navTabs的closeTab，看看closeTab是如何定义的.})tabsView。

上一篇主要讲了如何动态添加导航栏的tab，那么本篇将会写如何关闭tab、实现滑动块已经一些细节上的操作。这是实现新增、关闭等功能后的tabs.vue，里面绑定的方法逻辑都是我基于BuildAdmin重构实现的，后面在讲滑动块的时候，可以回来看看图中html的代码。首先就是利用reactive来定义响应式的activeBoxStyle变量，定义两个属性，一个是width表示宽度，另一个trasnform是元素转换，滑动块实在水平轴上进行来回变换，所以就用translateX。})

距离唯一一次搭建Hadoop集群，已是六年有余。那时候大数据的学习资料还是我从某宝25买来的，如今大数据已遍地开花。最近想写一些关于大数据的东西，例如Spark、flink等，想放在Yarn上跑，所以就从Hadoop的搭建开始写起。这就是我在虚拟机上搭建Hadoop3的步骤，有兴趣的同学不妨试试！

在后台管理系统或者前端页面的切换过程中，总会遇到网络波动、数据加载慢导致的页面访问慢的问题。我们在访问一些网站，遇到页面加载不出来的时候，通常显示一个进度条，或者一个loading页面的动画页面。那么，进度条和loading页面是如何实现的呢？这就是BuildAdmin中进度条和Loading页面的实现，主要是对router路由导航守卫的一个结合使用。

大数据毕业设计之前端

之前有一篇文章讲了Java的Gson、FastJson等解析json常用类，与Python的json模块比较，繁琐之处是要定义各种实体类。那么，Java中有没有自动定义实体类的方法呢？

很多同学都在问大数据的毕业设计如何做，如何能把大数据的毕业设计做出点东西等等，今天就主要写写大数据毕业设计如何做，以及大数据毕业的设计的难点在哪。大多数的大数据毕设，其实万变不离其宗，有一个固定的“框架”，总结起来就两部分：数据处理、数据可视化。至于数据处理、数据可视化用到的技术，需要根据题目要求“填充”到框架中。怎么说呢，如果毕业想要从事IT技术岗的，可以搞一下我上面列举的技术栈，都比较有意思。如果只是为了应付毕业设计，就看看就行。。

在18年初刚开始接触学习spark的时候，买了一本《Spark大数据处理技术》的书，虽然后来一些Spark开发的知识都是从官网和实践中得来的，但是这本书对我来说是启蒙和领路的作用。还记得这本书编程的开篇就是Spark程序”Hello World“！果然，这辈子是摆脱不了”Hello World“了。本篇文章主要利用wordcount的小案例，带大家认识了一下Spark，内容比较浅显，后续会更加深入，期待与大家共同学习。

上篇文章主要讲了图标组件Icon的实现，主要包括了两种常用的图标。今天就讲一下如何在Icon中加载本地的svg图标。开篇还是将Icon实现结构图放出来，今天只看svg这条支线。在components/icon/svg目录下，实现了一个svg的component，定义html原生的svg标签。下的中的href属性，需要指定的是svg图标的名字，而绑定的iconName，可以看到是引用的是props.name，即是通过父组件传过来的name属性。

说到图标，在BuildAdmin中用到的地方很多。比如上一篇中的折叠图标，还有菜单栏图标、导航菜单栏图标等。常见的图标有：ElementUI图标、font-awesome、iconfont阿里图标以及本地svg这四类图标。在使用四种不同的图标时，使用的标签都是不一样的，所以定义一个统一的组件，使用一个标签就能包含四类图标是非常有必要的。当然，这只是其中的一个原因，至于其他原因可以接着看下文。这里先放出架构图，可以看完整篇文章之后再回来看。使用。

仙路尽头谁为峰，学完Java学Python。

三本二线城市，自学Java/大数据月入过万的笔记是怎么写的？

Ambari2.7.5的源码编译和安装

别惦记岸边垂的杨你白色衣裳只是发间的雨想来仍留余香

前言最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的…所以就抽空写一写自己毕业设计的一个思路，大数据是我实习自学的，这个思路是我当初自己想的，就当做一份参考吧。在我毕业那年，同学们毕业设计大多都是以Java语言开发的各种管理系统、xx商城为主，包括我刚开始的想法也是这样的。这也是计算机专业很常见的毕业设计选题。这种选择的好处就是简单，网上模板多。动手能力强的同学，直接去github上拉下来源码，稍微修改一下，一个毕业设计项目就完成了。动手能力弱的同学，也可

实习一年，自学大数据文章：https://blog.csdn.net/CatchLight/article/details/112762291前言又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月。人会怀念，怀念青涩时期的自己，懵懵懂懂却又充满着努力。人会想念，想念每天朝夕相处的人，有一天会在转角挥手告别。人会改变，改变了不善言辞的自己，终游荡于人情世故之中。毕业近三年，从业大数据已近四年，顺着大数据的浪潮，在

大学如何自学java的文章：https://blog.csdn.net/CatchLight/article/details/112260371第一份实习offer专升本的第一学年末，凭借着自学Java拿到了人生的第一份Java开发的实习offer。我深知那时候我的Java水平有限，也深知能拿到offer并不是因为我多优秀，而是公司一批招了20多个人。17年7月，收拾好行李，和舍友体验了一天的找房、打扫、入住流程之后，于第二天的早晨第一次踏入了公司，开发岗的八个人被安排在空闲的工位上等待着新人培训。

前言又是一年乍暖还寒，春天的风迎面而来，凉意中夹杂着些许温暖。哦，你知道，是春天来了。就像那年的实习期，在挥手告别的毕业季，定格在了那年的七月。人会怀念，怀念青涩时期的自己，懵懵懂懂却又充满着努力。人会想念，想念每天朝夕相处的人，有一天会在转角挥手告别。人会改变，改变了不善言辞的自己，终游荡于人情世故之中。毕业近三年，从业大数据已近四年，顺着大数据的浪潮，在一个不大不小的城市有了立足之地。每逢佳节，亲朋好友谈及工作，皆以开发手机APP答之，避免出现半天解释不清的情况。后来在很多地方也遇到询问大数据的问