[转载] 一位大数据老兵的“回忆杀”：我做大数据这10年（附赠100G+大数据精华资料分享给大家）

最新推荐文章于 2024-09-20 11:33:48 发布
最新推荐文章于 2024-09-20 11:33:48 发布
阅读量382 收藏
点赞数
文章标签： 大数据 编程语言 java 人工智能 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gggSam/article/details/117471003
版权
本文是一位大数据老兵的回忆，讲述了他从2007年开始接触大数据，如何从Java开发者转行为大数据工程师，见证了Hadoop、Storm等实时计算框架的崛起，以及大数据在中国的发展历程。作者分享了自己在大数据领域的成长和感悟，并提供100G+大数据精华资料。
摘要由CSDN通过智能技术生成

[转载] 一位大数据老兵的“回忆杀”：我做大数据这10年（附赠100G+大数据精华资料分享给大家）

大家好，我是应癫，回顾起来，和大数据结缘已经有10个春秋了

2007年 ~ 2009年，我在北京读研究生，计算机专业，我的课题方向是“移动GIS系统”。GIS呢，就是地理信息系统，地图相关的一个领域，做地图的信息化建设

研二研三，我全职在某研究所工作，同时搞课题研究

期间，我主要是用Java语言

当时用 Java 语言写了很多代码，实现了很多功能

当时的自己可以说是一个狂热的 Java 爱好者

另外

像MySQL、Oracle、Weblogic、TongWeb、EJB 等等的传统的技术，当时也是各种用，而且当时也用的很深

2008年，在周末一个开放式技术论坛上，我第一次了解到大数据

当时听着很神奇，热血沸腾的：

很多台服务器一起工作，提供强大的数据存储和计算能力，不满足需要的话，还能继续增加机器......

最低0.47元/天 解锁文章
BigDataSam
关注
【大数据平台】大数据技术栈简介
在路上的专栏
08-19 878
在信息爆炸的时代，大数据技术栈成为处理和分析海量数据的核心工具。本文将深入探讨大数据技术栈的基础架构和关键组件，包括Hadoop生态系统、Apache Spark、NoSQL数据库以及数据流处理技术。我们将通过轻松幽默的方式，讲解每种技术的功能、优缺点及其应用场景，并结合实际代码示例和图示，帮助读者全面理解这些技术的工作原理和实际应用。无论你是大数据的新手还是老兵，这篇文章都将为你提供清晰的技术路线图。
大数据十年回顾（1）：大数据史前的数据库发展
weixin_44386969的博客
05-09 2555
是当前最热的技术之一，这十年它经历了哪些阶段?每个阶段分别创造和发展了什么?未来大数据又将朝着哪些方向继续前行?在这篇文章里，我们沿大数据发展时间线，从产品、行业、技术多角度讨论其发展脉络，究其发展承其脉络大家可以学习、借鉴、并最终推测未来大致走向。 引子 我一直认为大数据中文社区里面不乏各类技术大牛所著深度架构干货，同时亦不乏各类技术的总监 /VP/CXO 高屋建瓴指点行业江山的激...
我做大数据工作这三年
zzzqqq111222的专栏
08-18 521
一、初来乍到 三年前，一锅盖头小伙在女朋友的感召下，坐上了140.50块的绿皮火车花了30多个小时到了上海火车站。这是他20多年来第一次出省，然而等待他的是2个多小时的地铁，加半个小时的公交。但是有女朋友的陪伴，这都不是事儿。 到上海前，在网上随手投了几个实习简历，收到了两个面试邀请。刚来第二天，就坐上早高峰的地铁9号线去面试了……幸好没被挤扁。 面试过程就是自己叽里呱啦、意气风发地自我介...
Hadoop HBase数据库简介
大数据基础学习
06-27 504
HBase 是基于 Apache Hadoop 的面向列的 NoSQL 数据库，是 Google 的 BigTable 的开源实现。HBase 是一个针对半结构化数据的开源的、多版本的、可伸缩的、高可靠的、高性能的、分布式的和面向列的动态模式数据库。 HBase 和传统关系数据库不同，它采用了 BigTable 的数据模型增强的稀疏排序映射表（Key/Value ），其中，键由行关键字、列关键字...
如何使用.NET/C通过hive与Hadoop连接
Maynor的博客
09-10 1240
连接到蜂巢中的数据库 介绍 在我开始告诉你我的问题之前，我已经把某些与我的问题相关的术语写下来了。所有的定义基本上都是维基百科的摘录。 什么是大数据？ 大数据是收集如此庞大和复杂的数据集的术语，因此很难使用手动数据库管理工具或传统数据处理应用程序进行处理。挑战包括捕获、策划、存储、搜索、共享、传输、分析和可视化。大数据很难与使用大多数关系数据库管理系统以及桌面统计和可视化包配合使用，而是需要在数十台、数百台甚至数千台服务器上运行大规模并行软件。 什么是哈杜普？ 哈多普是阿帕奇软件基金会的开源框架。它成为存储
大数据Haddop学习（最详细的环境配置，保证成功！）（一）
Jecky的博客
09-25 439
大数据 辛苦整理，未经允许，严禁转载！ 1.特点（6V） Volume:数据体量大，数据越来越多。大公司处理的数据量基本上每天至少在TB级别左右。 Variaty:数据的种类和样式多，数据可以划分为结构化，半结构化，非结构化数据。 Velocity:数据量的增长速度是越来越快的。 Varecity: 数据的价值密度低。（有用的数据越来越少） Value:数据的真实性，越来越多的无用数据 Vale...
Harper的大数据漫谈(1):什么是大数据
Harper
07-02 425
Harper的大数据漫谈前言: 关于Harper的大数据漫谈概述: 什么是大数据 前言: 关于Harper的大数据漫谈 回顾一下, 自2013年毕业至今已经8年了, 其中前三年在中国联通做通信, 之后五年转战互联网公司从事大数据行业. 很喜欢这个方向, 也积累了一些心得. 最近在帮组内的实习生入门, 正好把自己的思考记录下来, 或许能帮助更多的人, 于是重新捡起了技术博客, 发挥自己意识流写作的特点, 利用工作之余的碎片时间想到哪写到哪, 哈哈???? 由于写的都是个人的理解, 所以难免有错误, 希望大家指
10年IT老兵跳槽到银行1年后的体会
03-03
在乙方工作了十年再转到甲方工作的这一年间，亲历了由于两种企业文化的不同而带来的许多感受，憋在心里很久了，在此写出来与大家分享。（一）为什么要换工作九十年代中期，我国银行业的信息化建设如火如涂的进行着，...
BAT 老兵的经验之谈，成长路上这个道理越早知道越好
程序员囧辉
05-16 2万+
如何让自己发生质变
35场面试，应届计算机毕业生的霸气求职之路
Freda的专栏
07-16 2106
1，简介 毕业答辩搞定，总算可以闲一段时间，把这段求职经历写出来，也作为之前三个半月的求职的回顾。 首先说说我拿到的offer情况： 微软，3面->终面，搞定 百度，3面->终面，口头offer 搜狗，2面，悲剧 腾讯，1面，悲剧 布丁移动，3面，搞定 涂鸦游戏，3面，搞定 友盟，3面->CEO面，搞定 雅虎，4面->终面，搞定 微策略，2面，悲剧 人民搜索，3面->终面，
大数据Hadoop免费教程-大数据从入门到实战
fengliaoai的博客
05-02 1833
大数据Hadoop免费教程-大数据从入门到实战 《大数据Hadoop进阶》：本课程面向Hadoop高阶学习者，具有一定Hadoop系统使用经验，结合大规模使用Hadoop的实践经验，了解和掌握HDFS构建、Hadoop工具使用、调试优化，问题分析，通过分析示例掌握大量实际使用的经验，很多实战内容的示例是很少在网络上找到文档支持。 大数据分析师月薪2w工作要求 大数据工作职责： 1.负责搜狗大数据分...
大数据技术原理与应用-林子雨版-课后习题答案
热门推荐
大家好，我是+V
06-26 22万+
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 信息化浪潮 发生时间 标志 解决问题 代表公司 第一次浪潮 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、苹果...
Hadoop从入门到精通系列之--1.环境搭建
一个月只有三十天
10-17 828
目录   一 Hadoop简介 二 Hadoop运行环境搭建前准备 2.1虚拟机准备 2.2网络配置 2.3修改Linux主机名称 三 Hadoop运行环境搭建 3.1 克隆虚拟机 3.2修改静态ip 3.3修改主机名称（见上） 3.4关闭防火墙 3.5创建用户wanglei 3.6给wanglei配置root权限 3.7在/opt下新建software存放安装包，mo...
hadoop简介
somilong的博客
06-03 1353
转： http://baike.baidu.com/link?url=HwhPVuqqWelWIr0TeSBGPZ5SjoaYb5_Givp9-rJN-PYbSTMlwpECSKvjzLBzUE7hn9VvmhDoKb5NNCPw1pCsTa Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分
大数据，我这十年！
12-19 1862
十年，弹指一挥间！过去这十年是信息技术飞跃式发展的十年，云计算、大数据、人工智能、物联网等成了数字经济发展的基石。自2008年第一届Hadoop中国云计算会议，到今年12月举行的2017中国大数据技术大会（BDTC 2017），中国大数据技术大会也走过了整整十年的历程，它见证了中国大数据技术和应用快速发展的十年。因为人工智能技术的兴起，大数据的下一个十年又会展现出怎样一幅蓝图呢？1大数据的下一个十
hadoop
Y734493585的博客
07-22 206
Hadoop hdfs: 基于gfs, 解决硬盘不够用和安全性问题.2. 冗余度为三份. 特点: 水平复制，解决效率问题. 以数据块形式存在，（hadoop 1.x版本64兆。hadoop 2.x版本，128兆)。 hadoop安装模式: 本地模式:需要一台主机. 伪分布式模式:需要一台主机. 全分布模式:需要三台主机. MapReduce. 解决大量数据的计算问题。 特点:分布式,拆大为小...
Hadoop大数据简介
只是甲的博客
12-01 1万+
一.Hadoop概述 1.1 Hadoop简要概述 我们生活在这个数据大爆炸的时代 ，很难估算全球电子设备中存储的数据总共有多少 。当前一个中小型公司的数据量也达到数十TB，甚至更多。 有句话说得好 ：“ 大数据胜于好算法 。” 意思是说对于某些应用 （譬如根据以往的偏好来推荐电影和音乐），不论算法有多牛 ，基于小数据的推荐效果往往都不如基于大量可用数据的 一般算法的推荐效果 。 我们遇到的问题很简单：在硬盘存储容量多年来不断提升的同时，访问速 度（硬盘数据读取速度）却没有与时俱进 。 第二个问题是大多数分
Percona发布开源DBaaS平台；阿里云RDS发布全球多活数据库(GAD)；Redshift支持自然语言生成SQL
最新发布
云原生智能数据管理平台
09-20 976
RDS MySQL全面升级了全球多活数据库（简称GAD）产品，GAD基于RDS与DTS产品打造，融合了灾备与多活两大能力，作为一站式、高性价比的灾备与多活解决方案，为用户提供全面的灾备和多活数据库服务。，产品基于RDS与DTS实现，为用户提供一站式、高性价比的灾备与多活解决方案 ([5])。此外，RDS MySQL还发布了列加密([6])，集群版新增库表恢复等功能([4])。Redis 4.0及以上版本的单机、主备、读写分离、Proxy集群实例，支持通过ELB实现Redis公网访问 ( [25] )
高并发读服务设计：电商老兵的10条实战经验
本文分享了一个电商老兵的10条经验，探讨如何在高并发下设计高效、可用且一致的读服务。 1. **服务拆分**：根据业务需求和技术特性，将大型系统拆分为多个单一服务系统，如库存、商品、价格等，以减轻数据库连接...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值