大数据
changjiang366
这个作者很懒,什么都没留下…
展开
-
层次关系数据库表的设计,无限层次
数据层次是表达数据的一种重要关系,在数据库的设计中,如:组织结构分解、工作任务分解、行政区划的分解等都是层次关系数据的典型实例。 表达层次关系的数据一般需要实现如下属性: 1.层次的最大级联层次数。如:中国->湖南省->长沙市->雨花区,就是4层。 2.能反映同一层次之间的顺序关系。如:长沙市 必须在 衡阳市的前面,(因为其是省会)。 3.能获取任意层次的...转载 2019-05-17 16:30:50 · 5875 阅读 · 0 评论 -
Anaconda使用总结
序Python易用,但用好却不易,其中比较头疼的就是包管理和Python不同版本的问题,特别是当你使用Windows的时候。为了解决这些问题,有不少发行版的Python,比如WinPython、Anaconda等,这些发行版将python和许多常用的package打包,方便pythoners直接使用,此外,还有virtualenv、pyenv等工具管理虚拟环境。个人尝试了很多类似的发...转载 2019-05-24 13:54:16 · 160 阅读 · 0 评论 -
MetaBase、Mysql、Navicat和Jupyter notebook搭建环境做数据分析
一、mysql的安装(一)安装方法参考这篇教程,很实用https://blog.csdn.net/Augst1/article/details/78426731Xshell 5中安装mysql的方法(二)遇到的问题1、初始登录问题(1)初次登陆,Mysql5.6版本后,初次登陆密码不能为空,通过在配置文件中添加skip-grant-tables, 忽略mysql权限问...转载 2019-05-15 16:33:28 · 1117 阅读 · 0 评论 -
企业信息化、数字化和智能化的区别
企业信息化、数字化和智能化的区别在云计算、物联网、人工智能和虚拟现实技术的快速发展下,全球迎来了数字化时代。那么,企业的信息化、数字化及智能化到底有什么区别呢,且听业内的两位专家如何解读:一、信息化、数字化和智能化本体层的分析1. 信息化:解决的是数据映射问题,是对现实世界(即企业的存在配置、资源存流、运营状态、外部联通)实现数据映射集合。感知、采集、识别判断、指令传递、动作控制、反馈...转载 2019-02-20 09:20:53 · 32925 阅读 · 2 评论 -
架构师一定要很强的编码能力之后才能当吗?
架构师一定要很强的编码能力之后才能当吗?架构师一定要负责整个系统中最核心和最难的地方的编写,并且设计好团队合作开发的方式,能根据编程经验看到未来的变化,架构太重要了,出不得错误,出了错误很难回头,如果一个团队里需要一个架构师,那他一定必须是团队里写代码能力最好的,而且要负责至少40%以上的核心开发工作,并且不能脱离实际业务。不写代码那个可以是部门经理,可以是开发总监,但一定不能是 架构...转载 2019-02-15 14:41:09 · 174 阅读 · 0 评论 -
分布式存储中HDFS与Ceph两者的区别是什么,各有什么优势?
过去两年,我的主要工作都在Hadoop这个技术栈中,而最近有幸接触到了Ceph。我觉得这是一件很幸运的事,让我有机会体验另一种大型分布式存储解决方案,可以对比出HDFS与Ceph这两种几乎完全不同的存储系统分别有哪些优缺点、适合哪些场景。对于分布式存储,尤其是开源的分布式存储,站在一个SRE的角度,我认为主要为商业公司解决了如下几个问题:可扩展,满足业务增长导致的海量数据存储需求;比商...转载 2018-12-11 20:47:44 · 1984 阅读 · 2 评论 -
漫画解读:什么是数据仓库?
一个故事在很久很久以前,世界上生活着许多种族,有人类,有矮人,有精灵......他们有着不同的信仰,不同的文化,彼此相安无事。可是,有一个猥琐男却偏偏想要统治整个世界。如何统治这么多不同文化信仰的种族呢?猥琐男想出一个馊主意,打造出几枚拥有魔力的戒指,免费送给不同种族的领袖,让他们可以更好地统治各自的族人。当各个种族的领袖美滋滋地...转载 2018-11-14 21:16:42 · 240 阅读 · 0 评论 -
大数据的Hadoop集群环境节点数设置
关于hadoop集群的硬件资源 大数据是当下最火热的名词,但真的大数据落地可行性方案估计更多也就是看几张报表,写几个T-SQL语句罢了,然后开始炒作我们xxx项目利用大数据技术……如是等等。这样才能跟上时代赶上潮流,自己戴上大数据的帽子。在资本市场宣扬一番,得到更多的关注而已。其实,大数据的概念或者是技术架构并没有最终的定论,各方说法都有争议并且持续存在着。而大多数真正可以落地的...转载 2018-10-15 10:01:46 · 7529 阅读 · 1 评论 -
Hadoop学习基础之三:MapReduce
现在是讨论这个问题的不错的时机,因为最近媒体上到处充斥着新的革命所谓“云计算”的信息。这种模式需要利用大量的(低端)处理器并行工作来解决计算问题。实际上,这建议利用大量的低端处理器来构建数据中心,而不是利用数目少的多的高端服务器来构建。 举例来说,IBM和Google已经宣布计划用1000台处理器构建的集群提供给部分大学,传授学生们如何使用MapReduce工具在这些集群上编程。...转载 2018-10-15 09:37:24 · 213 阅读 · 0 评论 -
Hadoop学习基础之二:分布式
分布式系统就是将系统的应用层,数据层或其它部分构架成分布(物理和逻辑上的都可以)状(通常是网状)。分布式系统通常是为了增强系统的可扩展性、稳定性和执行效率。比如在线游戏通常就是分布系统,里面所谓的“区”就是分布系统里子例程。而分布式数据库其实也可以称作分布式系统,数据持久化层是分布的(数据存在不同的数据库中,可交互,有一套综管系统来维护数据的完整性和准确性)。 所以说分布式系统更准确地说是一种系统...转载 2018-10-15 09:36:07 · 133 阅读 · 0 评论 -
Hadoop学习基础之一:服务器集群技术
服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行。 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益,其任务调度则是集群系统中的核...转载 2018-10-15 09:33:08 · 424 阅读 · 0 评论