- 博客(28)
- 收藏
- 关注
RSS订阅转载 大数据、机器学习和深度学习类命令行工具
在 OSX 和 LInux 上无需使用鼠标或 GUI ，也可以完成大量的操作。极具人气的面向各类 N X系统的命令行工具目前已经扩展至Python、Go、NodeJS 乃至各类混合型工具当中。即使您并不打算通过命令行来运行整条数据处理管道，这些工具依旧可以带来很大的帮助。 在 OSX 和 ...
2018-10-10 17:36:00
156
转载 大数据之HBase MapReduce的实例分
跟Hadoop的无缝集成使得使用MapReduce对HBase的数据进行分布式计算非常方便，本文将以前面的blog示例，介绍HBase下MapReduce开发要点。很好理解本文前提是你对Hadoop MapReduce有一定的了解。 HBase MapReduce核心类介绍 首先一起来回顾...
2018-07-31 15:54:00
135
转载 大数据实战项目必备技能三：storm
导读：Storm是一个分布式计算框架，主要使用Clojure与Java语言编写，最初是由Nathan Marz带领Backtype公司团队创建，在Backtype公司被Twitter公司收购后进行开源。最初的版本是在2011年9月17日发行，版本号0.5.0。 2013年9月，Apache...
2018-06-28 20:28:00
150
转载 大数据实时项目必备技能二：kafka有话说
导读：Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与Cloudera Hadoop，Apache Storm，Apache Spark集成。 Kafka创建背景 Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn...
2018-06-24 15:54:00
147
转载 大数据项目实战必备技能之Spark
导读： spark是基于内存计算的大数据并行计算框架，对于spark，Apache spark官方给出的定义：spark 是一个快速和通用的大数据引擎，可以通俗的理解成一个分布式的大数据处理框架，它基于Rdd(弹性分布式数据集)，立足于内存计算，因为是基于内存计算，所以提高了在大数据环境下数据...
2018-06-22 16:05:00
90
转载 怎么做好网站分析这个项目，大数据行业必读
导读： 网站分析也称Web分析(web analytics)。一言以蔽之，对于网站分析，个人的理解是：网站分析通过对网站各项数据指标进行解读与分析，从而了解和归纳网站浏览者的行为及洞察行为背后的需求，有针对性地对网站进行整体或细节的改善，提升网站运营水平和更好的满足网站用户需求。总之，网站分析...
2018-06-21 15:34:00
149
转载 MapReduce分布编程模型之映射函数与化简函数简介
导读：在程序语言中，映射函数与化简函数是常用的函数。映射函数与化简函数是MapReduce分布编程模型的两个主要函数。简单的说，一个映射函数就是对一些独立元素组成的概念上的列表{例如，一个测验成绩的列表}的每个元素所指定的操作。 事实上，每个元素都是被独立操作的，而原始列表没有被更改，因为这里...
2018-06-19 20:40:00
230
转载 MapReduce分布编程模型之函数式编程范式
导读： 计算机科学是算法与算法变换的科学，算法是计算机科学的基石。 任何一个计算问题的分析与建模，几乎都可以归为算法问题。MapReduce算法模型是由Google公司针对大规模群组中的海量数据处理而提出的分布编程模型，主要应用于大规模数据集{大于1TB}的分布并行运算。 在MapRedu...
2018-06-15 15:31:00
144
转载 跟父亲一样伟大的程序员，请一定要照顾好自己！
年轻人不注意健康锻炼而应发的社会问题已经日趋严峻。对程序员这个职业来说，许多职业病导致程序员的身体很受访。 对于一些 经年累月的工作已经有五六年之久的职场人来说。以前也会或多或少有一些身体不适的信号。大约休息几天或是睡上一觉 就没事了，然而不知什么时候，这些不适的信号已经悄然而在且是久久不能...
2018-06-13 21:04:00
260
转载 阿里。腾讯内部十二个大数据项目实战，你都有做过吗？
随着社会的进步，大数据的高需求，高薪资，高待遇，促使很多人都来学习和转行到大数据这个行业。学习大数据是为了什么？成为一名大数据高级工程师。而大数据工程师能得到高薪、高待遇的能力在哪？自然是项目经验。下面给大家大概介绍一下在阿里的"双11"、"双12"、"双旦"即将到来的"618"与腾讯大数据都...
2018-06-13 14:36:00
157
转载 0基础学习大数据你需要了解的学习路线和方向
现在大数据这么火，各行各业想转行大数据，那么问题来了，该往哪方面发展，哪方面最适合自己？ 首先从字面来了解一下大数据大数据（巨量数据集合（IT行业术语）） 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力...
2018-06-11 19:09:00
115
转载 十大编程语言你会哪种？Python只能排第三，你能猜到第一是谁吗？
导读：如果你还在纠结选哪门编程语言来开启你的码农生涯，这将是你的最佳指南。 本文绝非标题党，而是基于大量数据和为期两周的深入探究，在18年初，对IT行业的现状、趋势以及预测进行客观观察，让大家对编程语言有一个更清晰的认识，以选择最值得花费时间和精力的职业方向，为大家走向码农事业巅峰助攻。 ...
2018-06-06 13:40:00
220
转载 大数据课程重大福利，终身学习权限参与就有机会获取
加微信zhanglindashuju 就可以观看免费观看大数据视频1，海量日志收集利器以及flume的基本介绍 2，如何透彻了解spark 3，mapreguce的编程模型和执行机构 4，kalka的介绍与应用 5，大数据分析引擎：lmpala 6，大数据批...
2018-05-25 19:59:00
76
转载 117道有关大数据面试题解析，希望对你有所帮助
一 .简述如何安装配置apache 的一个开源的hadoop 1. 使用root账户登陆 2.修改ip 3.修改host主机名 4.配置ssh 免密登陆 5.关闭防火墙 6.安装ＪＤＫ 7.解压hadoop安装包 8.配置hado...
2018-05-21 16:41:00
860
转载 针对大数据行业你所遇到的问题
随着大数据越来越火，各企业对大数据需求也越来越大，很多人也加入了大数据这个行业，或者觉得这行业火跟着潮流来的。 其实很多人加入这个行业对这个行业并不是特别的了解，会遇到很多各种各样的问题，比如： 公司让你做一个功能，但是目前的技术水平还不足以完成，还需要上网找资料，找朋友各种问题也解...
2018-05-18 20:08:00
99
转载 第四期：有关大数据相关问答汇总，持续更新中~
NO.1 大数据为什么这么“火”？为什么那么多人转型学大数据？ 回答一：身为数据极客，在2017年应该能感觉很幸福。 去年，我们曾经问过大家“大数据还是个值得关注的大事吗？”，并注意到由于大数据更像是一种“系统化工程”，因此在企业的接受速度方面要落后于整个业界的炒作。大数据技...
2018-05-16 19:29:00
441
转载 第三期：有关大数据相关的问答汇总，持续更新~
NO.1 sql server、my sql、oracle与hadoop，哪个才是未来趋势？到底有什么区别？ 回答：SQL server，Mysql，Oracle都可以说是老牌数据库产品了，就产品本身来说，这三个数据库产品都是成功的。 这三个产品都有清晰的市场定位:Sql server专...
2018-05-15 14:18:00
131
转载 关于大数据相关的问答汇总，每天持续更新中哦~
NO.1 想要学好大数据需掌握哪些技术？ 答：1，Java编程技术 Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜欢的编程工具，因此，想学好大数据，...
2018-05-11 19:20:00
649
转载 2018年最受欢迎的五大机器学习数据和五大数据学习工具
2018年将会是人工智能和机器学习快速发展的一年，有专家表示：相较之下Python比Java更加接地气，也自然而然地成为机器学习的首选语言 在数据科学方面，Python的语法与数学语法最为接近，因此是数学家或经济学家等专业人士最容易理解和学习的语言。本文将罗列机器学习和数据科学应用程序中最有...
2018-05-09 17:07:00
112
转载 Hadooop的学习路线图
目录： .1.Hadoop家族产品 2.Hadoop家族学习路线图 Hadoop家族产品 截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！ 接下来，我把这20个产品，分成了2类。 第一类，是我已经掌握的 第二类，是TODO准备继续...
2018-05-06 16:11:00
109
转载 2018年大数据经典面试题以及回答技巧，这些你都看过吗？
1、海量日志数据，提取出某日访问百度次数最多的那个IP。 解决方案：首先是将这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文...
2018-05-03 22:18:00
96
转载 30个常见的大数据面试题，让你的薪资提升一个等级，大家快来看看吧！
经历了水深火热的大数据学习，终于拨开云雾见天明了，但你离成功总是还差了一步，那就是拿到大数据工程师的Offer。 在电脑旁奋斗了无数个日夜，代码敲了无数遍，项目整改了无数遍，只为了得到一份自己满意的高薪资高待遇的Offer。但这个收获不仅仅需要你学到娴熟的大数据技术，还需要在面试之前精心准...
2018-05-02 16:17:00
149
转载 敏捷大数据理论你到底了解多少？
前段时间有报道称，有学者质疑“大数据”理论，也有硅谷公司负责人质疑大数据应用的效果。结合2011年Gartner关于BI（Business Intelligence）应用70%-80%都失败的一个调查结论（这里的fail是夸张的说法，更确切地讲应该是没有达到预期效果），本文就来谈谈为什么会出现...
2018-04-28 15:12:00
292
转载 新人看过来，快速提升自己人气的一大硬性条件你知道吗？
点进来 ，关注我，没错，你没看错，就是关注我，我也会第一时间关注你的， 还有我们后续还可以互相推粉，这可以新人前期快速壮大自己粉丝的好方法哦 ，有兴趣的我们可以自己搞一个团队方式 ，越来越多得人加进来，十个人你就有十个关注，其实有时候不是你的文章写得不好，而是你的人气不够，没有人气写得再好的...
2018-04-28 14:18:00
89
转载 百里玄策：“我有哥哥（大数据），你没有，这就是任性的理由”
这两年大数据发展越来越好，身处互联网的环境中，突然发现，周围的人经常谈的话题变了，很多人都在谈论大数据、人工智能、智慧城市，大数据中心等大数据相关的内容，看来大数据是真的火起来了， 人类已经进入到了一个无商不利用数据，无领域（包括政府）不利用数据的时代。无论你利用数据赚钱也好，还是希望改善公...
2018-04-27 19:13:00
114
转载 三生三世，十里挑花 大数据爱我你够了吗？
现在大数据发展越来越火，趋势日益红遍半边天。 就像现在很受广大青年热爱的手机游戏‘’王者荣耀‘’，‘’绝地求生‘’等游戏，但是大家都知道，游戏往往都是盛极一时，到后来石沉大海。。。。那么，我们在大数据发展的很多小伙伴会不会也有一下两个担心： NO.1当前大数据行业真的是人才稀缺吗? 回答：对...
2018-04-26 20:16:00
94
转载 如何在大数据行业里‘’大吉大利，每晚吃鸡‘’
想要在大数据行业里'吃鸡’，首先我们的了解大数据以后的发展趋势。 2018大数据技术目前已日趋成熟，日后会在系统研发、大数据应用开发和大数据分析方向上分类更加的精确和细致。 总的来说大数据有5个部分。数据采集，数据存储，数据清洗，数据挖掘，数据可视化。数据采集有硬件采集，如OBD，有软件采集...
2018-04-25 17:50:00
105
转载 王者荣耀VS大数据时代
NO.1 猥琐发育，别浪VS大数据基础 近年来整体数字营销行业的发展呈现出三大趋势： 第一个趋势：广告主越来越重视数据资产，他们将自己的大数据沉淀下来，然后建立大数据系统。其实在两年前，很多广告主就想做大数据资产沉淀，但直到现在才有可能真正落实，开始基于数据资产，优化数字营销能力。...
2018-04-24 21:07:00
135
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人