Java架构与大数据交流圈子
文章平均质量分 76
分享java架构面试必问文章和想从事转行做大数据开发人员的程序员,一起进步,欢迎评论。
yalin7076
这个作者很懒,什么都没留下…
展开
-
Java设计模式-策略模式
今天给大家说说田忌赛马的故事。如有雷同,纯属巧合!话说在战国时期,群雄割据,硝烟四起,茶余饭后还是少不了娱乐活动的,其中赛马是最火爆的。一天,孙膑看到田忌像个死鸡似的就知道肯定赛马又输给了齐威王,立马抓住田忌去跟齐威王再赛一场。孙膑:“小忌啊,哥哥看着你心疼啊,哥哥出对策帮你赢一盘如何?”。田忌听到之后高兴得飞起,瞪大了两只金鱼眼“Really?只要能赢,我赴汤蹈火,以身相许又如何~”。转载 2017-12-01 18:01:02 · 169 阅读 · 0 评论 -
11月百度面试题(社招)
一面笔试题1 实现一个函数,判断输入是不是回文字符串。2 两种以上方式实现已知或者未知宽度的垂直水平居中。3 实现效果,点击容器内的图标,图标边框变成 border 1px solid red,点击空白处重置。4 请简单实现双向数据绑定 mvvm。5 实现 Storage,使得该对象为单例,并对 localStorage 进行封装设置值 setItem(key,value)和 ge...原创 2018-12-06 17:37:59 · 589 阅读 · 0 评论 -
做为一名大数据新手,应该通过这篇文章了解大数据
一、大数据是什么?大数据,big data,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。这句话至少传递两种信息:1、大数据是海量的数据2、大数据处理无捷径,对分析处理技术提出了更高的要求二、大数据的处理流程下图是数据处理流程: 1、底层是数以千亿计的数据源,数据源可以是SCM(供应链数据),4PL(...原创 2018-12-25 16:50:03 · 368 阅读 · 0 评论 -
深度预警:深入理解HBase的系统架构
HBase的构成物理上来说,HBase是由三种类型的服务器以主从模式构成的。这三种服务器分别是:Region server,HBase HMaster,ZooKeeper。其中Region server负责数据的读写服务。用户通过沟通Region server来实现对数据的访问。HBase HMaster负责Region的分配及数据库的创建和删除等操作。ZooKeeper作为HDF...原创 2018-12-24 14:31:46 · 309 阅读 · 0 评论 -
Java开发工程师有必要转型大数据吗?
大数据涉及到数据的采集、整理、传输、存储、分析到呈现,涉及到很多岗位和不同的人员配置,很多不同的专业人才都可以参与到大数据行业,这其中有大量的Java程序员考虑从事大数据方面的研发。 个人认为,Java程序员从事大数据开发还是有一定优势的。不少大数据平台产品本身就是采用Java语言开发的,比如hadoop。所以,Java程序员从事大数据是一个不错的选择。其次,大数据开发的平均薪资确...原创 2018-12-24 14:26:12 · 2819 阅读 · 0 评论 -
转行大数据,如何开始学习 Hadoop?
以安装部署Apache Hadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目的。 学习大数据首先要了解大数据的学习路线,首先搞清楚先学什么,再学什么,大的学习框架知道了,剩下的就是一步一个脚印踏踏实实从最基础的开始学起。这里给大家普及一下学习路线:hadoop生态圈——Strom——Spark—...原创 2018-12-24 14:08:07 · 335 阅读 · 0 评论 -
低调!年薪40+W的大数据开发教程,都在这儿!
这是一篇推广文章。事实上,大数据工作者可以施展拳脚的领域非常广泛,从国防部、互联网创业公司到金融机构,到处需要大数据项目来做创新驱动。数据分析或数据处理的岗位报酬也非常丰厚,在硅谷,入门级的数据科学家的收入已经是6位数了(美元)。而Java工程师转型大数据还是比较适合的,从技术层面来说,大数据使用的Hadoop需要Java SE基础,同样你还需要掌握Linux基本命令操作。互联网行业发...原创 2018-12-24 14:04:15 · 374 阅读 · 0 评论 -
如何开始学习 Hadoop?
作者:美国队长,大数据专家,精通Hadoop生态相关平台的搭建调优,对底层的源代码有一定的研究。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,他从0.x版本到现在的3.0版本,经历了各种变化。但是变化中有不变的是他的主要功能就是Hdfs(分布式文件存储) ,Mapreduce(分布式并行计算框架)。其中,Hdfs主要是用来进行文件的存储,他涉及文件存储不同压缩...原创 2018-12-23 15:56:04 · 341 阅读 · 0 评论 -
大数据的重要性,技术和商业的碰撞,谈阿里云与天猫双11这十年
摘要: 2009年,发生了两件看似不起眼的事。 初春刚过,阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。 同年11月11日,淘宝商城启动了一个叫做双11的促销活动。 谁也没想到,多年以后他们会是现在这模样。2009年,发生了两件看似不起眼的事。初春刚过,阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。同年11月11日,淘宝商城启动了一个叫做双11的促销活动。谁也没想到...原创 2018-12-23 15:49:12 · 731 阅读 · 0 评论 -
入行IT行业,为什么建议你选择大数据开发?
现阶段,提到入行哪个行业好,哪个行业薪资高,发展前景大,毫无疑问这个方向会指向IT。而在IT行业又是哪个领域最值得进入呢?没错,就是大数据。那么大数据行业究竟是凭借什么让大家如此关注,如此青睐呢? 我们都知道,IT作为一种新型产业,在过去短短的十几年内,已经成为我国重要的经济增长点,也受到国家的大力扶持。随着“互联网+”、“人工智能”、“云计算”、“智慧城市”等重大的战略的实施,...原创 2018-12-21 19:41:13 · 1302 阅读 · 1 评论 -
一篇文看懂Hadoop:风雨十年,未来何去何从
我们很荣幸能够见证Hadoop十年从无到有,再到称王。感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天、今天和明天,憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇2006年项目成立的一开始,“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头,这个单词代表的是“核心”(即Core ...原创 2018-12-21 15:37:39 · 497 阅读 · 0 评论 -
Hadoop 中的集群配置和使用技巧
── 分布式计算开源框架 Hadoop 入门实践(二)其实参看 Hadoop 官方文档已经能够很容易配置分布式框架运行环境了,不过这里既然写了就再多写一点,同时有一些细节需要注意的也说明一下,其实也就是这些细节会让人摸索半天。Hadoop 可以单机跑,也可以配置集群跑,单机跑就不需要多说了,只需要按照 Demo 的运行说明直接执行命令即可。这里主要重点说一下集群配置运行的过程。环境7 ...原创 2018-12-21 15:28:26 · 263 阅读 · 0 评论 -
Hadoop 的快速发展带动了对数据迁移工具的需求
Hadoop 是由 Apache 基金会所开发的分布式处理平台。其最核心的设计就是:HDFS 分布式文件系统和分布式计算框架 Map/Reduce。HDFS 具有高容错性、高吞吐量的特点,为海量数据提供存储;Map/Reduce 则为大数据数据计算提供支持。目前,Hadoop 以其低成本、高扩展性、靠可靠性以及靠容错性等优点,成为新一代的大数据处理平台。很多公司也开始提供基于 Hadoop 的商业...原创 2018-12-21 15:26:18 · 273 阅读 · 0 评论 -
从面试官的角度谈谈大数据面试
关于传授面试经验的文章太多了,眼花缭乱,我这里就不谈了,点进来想获取几吨面试学习资料的同学,抱歉让你失望了。(我是真的找不到那么多资料...)。所以,今天我们只聊面试官。 作为一只老鸟,我的面试经验还算丰富,无论是作为面试者还是面试官。其实这篇对于面试者来说也是有意义的,毕竟知己知彼,百战不殆,知道对方会从哪些方面问问题,从哪些方面考核,才能更好地提前做好准备。 首先,我觉得面...原创 2018-12-21 14:55:03 · 407 阅读 · 0 评论 -
学习大数据最好的时间是十年前,其次是现在
在这个大数据的价值堪比石油和黄金的时代,不论你是否从事大数据相关的工作,了解和掌握大数据相关的技术都应该成为一个工程师的必备技能。因为到现在为止,不管是什么体量的公司,都已经意识到数据的价值。自 2012 年起,无论是 BAT 还是传统的商业公司,都纷纷在自己的软件系统中大规模使用大数据技术。不仅如此,越来越多的软件工程师也开始转型成为大数据工程师,从事大数据开发与应用的工作。市场对于大数据的...原创 2018-12-21 14:46:25 · 581 阅读 · 0 评论 -
小白的福音,一位年薪50W架构师分享的一份精简大数据学习路线
一、Hadoop入门,了解什么是Hadoop1、Hadoop产生背景2、Hadoop在大数据、云计算中的位置和关系3、国内外Hadoop应用案例介绍4、国内Hadoop的就业情况分析及课程大纲介绍5、分布式系统概述6、Hadoop生态圈以及各组成部分的简介7、Hadoop核心MapReduce例子说明二、分布式文件系统HDFS,是数据库管理员的基础课程1、分...原创 2018-12-20 21:37:55 · 616 阅读 · 0 评论 -
Hadoop高可用集群
1.简介若HDFS集群中只配置了一个NameNode,那么当该NameNode所在的节点宕机,则整个HDFS就不能进行文件的上传和下载。若YARN集群中只配置了一个ResourceManager,那么当该ResourceManager所在的节点宕机,则整个YARN就不能进行任务的计算。* Hadoop依赖Zookeeper进行各个模块的HA配置,其中状态为Active的节点对外提供服务...原创 2018-12-20 21:34:08 · 364 阅读 · 0 评论 -
《十小时入门大数据》学习笔记之初识Hadoop
笔记内容概括 Hadoop概述 1.1 Hadoop名字的由来 1.2 Hadoop介绍 1.3 Hadoop能做什么 Hadoop核心组件 2.1 HDFS(分布式文件系统) 2.2 YARN(资源调度系统) 2.3 MapReduce(分布式计算框架) Hadoop优势 Hadoop发展史 ...原创 2018-12-20 21:29:04 · 541 阅读 · 0 评论 -
深入理解Hadoop之HDFS架构
Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分布式文件系统的差异是值得我们注意的:HDFS具有 高度容错 能力,旨在部署在 低成本 硬件上。(高容错) HDFS提供对数据的 高吞吐量 访问,适用于具有 海量数据集 的应用程序。(高吞吐量) HDFS放宽了一些POSIX要求,以实现对文件系统数据的 流式访问 。(流式访问)...原创 2018-12-20 17:05:49 · 344 阅读 · 2 评论 -
Hadoop问题解决记录
1.解决Unable to load native-hadoop library for your platform告警安装Hadoop启动之后总有警告:Unable to load native-hadoop library for your platform... using builtin-Java classes where applicable环境:Red Hat 6.4 64位...原创 2018-12-20 17:02:53 · 227 阅读 · 0 评论 -
干货:如何将Hadoop存储容量提升4倍?
本文主要介绍如何通过Federation使用多个独立的Namenodes Namespaces水平扩展命名空间。Namenodes彼此独立,互不通信,可以共享相同的Datanode存储。在Hadoop 1.0中,HDFS的单NameNode设计带来诸多问题,包括单点故障、内存受限制约集群扩展性和缺乏隔离机制(不同业务使用同一个NameNode导致业务相互影响)等。为了解决这些问题, Hadoo...原创 2018-12-20 16:15:12 · 213 阅读 · 2 评论 -
大数据与Hadoop之间是什么关系
广义上讲 大数据是时代发展和技术进步的产物。Hadoop只是一种处理大数据的技术手段。“大数据”概念在1980年由维克托·迈尔-舍恩伯格及肯尼斯·库克耶 在《第三次浪潮》首次提出,由麦肯锡公司(McKinsey)最早应用。 大数据的特征1,容量:数据的大小决定所考虑的数据的价值和潜在的信息2,种类:数据类型的多样性3,速度:指获得数据的速度4,可变性:妨碍了处理和有...原创 2018-12-20 15:58:05 · 1206 阅读 · 0 评论 -
阿里常用Java并发编程面试试题
一、概念什么是线程一个线程要执行任务,必须得有线程一个进程(程序)的所有任务都在线程中执行的一个线程执行任务是串行的,也就是说一个线程,同一时间内,只能执行一个任务多线程原理同一时间,CPU只能处理1条线程,只有一条线程在工作(执行)多线程并发(同时)执行,其实质是CPU快速的在多线程之间调度(切换)如果线程过多,会怎样?CPU在N多条线程中调度,会消耗大量的cpu资源每条线程...原创 2018-09-19 19:57:23 · 307 阅读 · 1 评论 -
优秀Java程序员都具备的五点特性,这些你都有吗?
作为一个在it行业混的老鸟,一直有一个疑虑:自己究竟要做到什么程度才算得上优秀?一个优秀程序员(指工资比一般程序员高的那种)最重要的能力是什么?写代码的最高境界是什么样的?带着这个疑虑,我总结了以下几点:一、 编程能力不用多说,作为Java程序员,精通Java基础是必须的。这种精通,不是说看了一本《24小时精通XXX》,抄了几个程序就能说精通的,要靠长时间的积累和浸淫。我曾经看多很...原创 2018-09-19 19:55:27 · 540 阅读 · 0 评论 -
Java架构技术怎么学,做到年薪50W这几点就够了
想要做到年薪50万,首先你自己必须是高水平的程序员!能年薪50万的程序员至少自身有以下特征:工作年限长,经验丰富他们的共同特点是:10 年以上的工作经验,在大公司当过螺丝钉,也在创业公司做过技术 leader,有过一两段不算成功的创业经历。这样的程序员无论是去 BAT 还是去创业公司,都能拿到 50 万年薪以上的 offer。虽然前面说技术水平不是决定薪水的唯一因素,但如果技术...原创 2018-09-14 17:15:44 · 554 阅读 · 0 评论 -
Java程序员:一个学渣的阿里之路
最近有些朋友在面试阿里,加上 Java-Interview 项目的原因也有小伙伴和我讨论,近期也在负责部门的招牌,这让我想起年初那段长达三个月的奇葩面试经历。本来没想拿出来说的,毕竟最后也没成。但由于那几个月的经历让我了解到了大厂的工作方式、对候选同学的考察重点以及面试官的套路等都有了全新的认识。当然最重要的是这段时间的查漏补缺也让自己精进不少。先交代下背景吧:从去年 12 月...转载 2018-09-12 11:13:02 · 430 阅读 · 0 评论 -
JVM难学?那是因为你没认真看完这篇文章
一:虚拟机内存图解JAVA程序运行与虚拟机之上,运行时需要内存空间。虚拟机执行JAVA程序的过程中会把它管理的内存划分为不同的数据区域方便管理。虚拟机管理内存数据区域划分如下图:数据区域分类:方法区: (Method Area)虚拟机栈 : (VM Stack)本地方法栈 : (Native Method Stack)堆: ...原创 2018-08-01 20:25:35 · 373 阅读 · 0 评论 -
开发十年,就只剩下这套Java开发体系了
蓦然回首自己做开发已经十年了,这十年中我获得了很多,技术能力、培训、出国、大公司的经历,还有很多很好的朋友。但再仔细一想,这十年中我至少浪费了五年时间,这五年可以足够让自己成长为一个优秀的程序员,可惜我错过了,我用这五年时间和很多程序员一样在困惑和迷茫中找不到出路!路其实一直都在那里,只是我们看不到而已!以前我一直被公司和技术牵着走,并不是自己在选择技术,而是不自觉地被推到了这个位置上...转载 2018-07-29 19:19:50 · 597 阅读 · 2 评论 -
两年Java程序员面试经
工作两年有余,本人第一份工作是在一家外包公司,第二份工作是在一家做SAAS平台的公司,第一家公司让我入门,进入了软件开发的行业,了解了一些基础的东西;第二家公司由于规模不大,很多活儿都是一个人来做,从产品到开发、测试、运维我都了解了,对于整体的软件开发流程有了很大的了解。但是,为了自己的更好发展,决定去一家大公司,于5月初提出了离职,虽然领导挽留,但是我还是离职了,然后我自己面试了很多家公司,大公...转载 2018-06-22 15:51:29 · 605 阅读 · 0 评论 -
Java线程面试题 Top 50
管你是新程序员还是老手,你一定在面试中遇到过有关线程的问题。Java语言一个重要的特点就是内置了对并发的支持,让Java大受企业和程序员的欢迎。大多数待遇丰厚的Java开发职位都要求开发者精通多线程技术并且有丰富的Java程序开发、调试、优化经验,所以线程相关的问题在面试中经常会被提到。在典型的Java面试中, 面试官会从线程的基本概念问起, 如:为什么你需要使用线程, 如何创建线程,用什转载 2018-01-31 22:23:45 · 214 阅读 · 0 评论 -
Java高级程序员(5年左右)面试的题目集
1 时隔两年再一次的面临离职找工作,这一次换工作有些许的不舍,也有些许的无奈。个人所在的技术团队不错,两年时间成长了很多,也很不舍这个团队。但是,由于公司的某些原因和对于自身未来发展的综合考虑,又不得不得离去,去寻找更合适的地方成长和发展。相比于两年前,现在找工作没有那么的着急,也没有那么的迫切,也没有特别想去的公司,反正去大厂互联网公司基本都是加班加点的。也许,这是工作三年的我即将面临的一个坎吧原创 2018-01-17 20:49:31 · 283 阅读 · 0 评论 -
浅谈 MySQL 集群高可用架构
前言高可用架构对于互联网服务基本是标配,无论是应用服务还是数据库服务都需要做到高可用。对于一个系统而言,可能包含很多模块,比如前端应用,缓存,数据库,搜索,消息队列等,每个模块都需要做到高可用,才能保证整个系统的高可用。对于数据库服务而言,高可用可能更复杂,对用户的服务可用,不仅仅是能访问,还需要有正确性保证,因此数据库的高可用方案是一直以来的讨论热点,今天就各种的高可用方案,谈一下个人的一些转载 2018-01-07 19:45:10 · 526 阅读 · 0 评论 -
阿里、腾讯、百度、华为、京东、搜狗和滴滴最新面试题汇集
前一段时间和大牛们交流了一下,据反馈现在Java岗位也没有以前那么多了,没这么好找了,面临2016年寒冬季节,大量公司模仿O2O模式导致死掉企业的很多,在加之培训机构大量的培训人,导致供大于求,当然这不意味着饱和,只是市场更趋于合理一些(只要技术好不用怕的)。最近结合一些面试的同学和大牛们(张旭童)反馈,前几天听童哥去阿里面试顺便整理了下一些面试题目。希望对大家有所帮助,后期会不断更新添加新的面试原创 2018-01-05 21:21:25 · 1095 阅读 · 0 评论 -
Java程序员是如何面试上阿里巴巴,如何拿到年薪50W
阿里java相关问题,都是之前通过不断优秀人才的铺垫总结的,希望对大家帮助,祝面试成功,有个更好的职业规划。1、微信红包怎么实现。2、海量数据分析。3、测试职位问的线程安全和非线程安全。4、HTTP2.0、thrift。5、面试电话沟通可能先让自我介绍。6、分布式事务一致性。7、nio的底层实现。8、jvm基础是必问的,jvm GC原理,JVM怎么回收内存。原创 2018-01-03 20:55:22 · 829 阅读 · 0 评论 -
毕业3年,Java程序员年薪拿到20万,他是怎么做到的?
我14年专科毕业,到今已有3个年头。期间入职过两家公司。很多次学习技术,都是走到临门一脚,然后就没有往下了。我和大牛之间的差距就是,别人看完了源码,而我只是会用。这是我20170412做的一次笔记,最后记住就是有多少种设计模式系统的了解一下, 是这样的。然后这样的有幸阅读了《刻意练习》这本书,收获的3大技巧第一步:走出舒适区第二步:寻找导师第三步:刻意练...原创 2019-05-09 16:48:01 · 18061 阅读 · 15 评论 -
Java程序员工作3年,每天坐吃等死状态,该如何打破这种情况?
破而后立,败而后成工作3年,做金融风控相关项目,难听点,就是外包,每天增删改查,坐吃等死状态,每天就期待下班。但是心里总觉得这样下去要丸,不知道怎么改变这种情况?想学点东西,比如看jvm、并发这些书,看了一部分就放弃了,过段时间又忘记了,好迷茫。 专注力不够,也有很多都是JAVA外包公司, 很迷茫,相信大部分工作3年Java程序员都是这样的,下面我为大家了解析一下。(不喜勿喷)三年应该要接原创 2017-12-22 19:05:41 · 2431 阅读 · 0 评论 -
在北京三年java开发经验月薪16k,如何在四年经验时要到20k?
3年JAVA程序员的自评半道出家的程序员,从不伪造简历,起点低,三年时才16k月薪*14在北京,认为混的比较差。当然补充一句,不要拿应届生的所谓待遇来比,不是你比不起,而是这么比没意义,应届生接触了四年计算机相关领域,你到现在接触这个行业也不到四年,应届生还有应届优势,你没有,所以这种半道出家的和应届生比毫无意义。举一个例子吧,那个培训班30人,上到框架那里就剩10个了,剩下20个与编原创 2017-12-21 14:05:40 · 29710 阅读 · 7 评论 -
阿里Java高级面试题,你离阿里巴巴还有多远?
支付宝笔试面试1. cookie 和 session 的区别cookie机制采用的是在客户端保持状态的方案,而session机制采用的是在服务器端保持状态的方案。1、cookie数据存放在客户的浏览器上,session数据放在服务器上。2、cookie不是很安全,别人可以分析存放在本地的COOKIE并进行COOKIE欺骗考虑到安全应当使用session。3、sess原创 2017-12-19 16:36:18 · 12845 阅读 · 2 评论 -
通往Java架构师的路,你想成为一个Java架构师吗?
本文是对想成为Java架构师的一些总结,和知识体系介绍如果你是想成为架构师,就需要会其中知识,介绍不好请勿喷常用设计模式最早提出“设计模式”概念的是建筑设计大师亚力山大Alexander。在1970年他的《建筑的永恒之道》里描述了投计模式的发现,因为它已经存在了千百年之久,而现代才被通过大量的研究而被发现。在《建筑的永恒之道》里这样描述:模式是一条由三个部分组成的通用规则:它表示了原创 2017-12-17 15:37:41 · 761 阅读 · 0 评论 -
「架构技术专题」这9种高性能高可用高并发的技术架构你还不知道?
1、分层 分层是企业应用系统中最常见的一种架构模式,将系统在横向维度上切分成几个部分,每个部分负责一部分相对简单并比较单一的职责,然后通过上层对下层的依赖和调度组成一个完整的系统。 在网站的分层架构中,常见的为3层,即应用层、服务层、数据层。应用层具体负责业务和视图的展示;服务层为应用层提供服务支持;数据库提供数据存储访问服务,如数据库、缓存、文件、搜索引擎等。 分层转载 2017-12-15 20:06:19 · 3519 阅读 · 0 评论