- 博客(49)
- 收藏
- 关注
RSS订阅
原创 大数据框架HBase教程大汇总全集（附详细的图文解读和学习目录）
Hadoop使用分布式文件系统，用于存储大数据，并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目，是横向扩展的。HBase是一个数据模型，类似于谷歌的大表设计，可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统（HDFS）提供的容错能力...
2020-01-22 20:57:38
4297
原创 大数据框架kafka学习路线整理汇总
Kafka教程Apache Kafka起源于LinkedIn，后来于2011年成为Apache开源项目，然后于2012年成为Apache项目的第一个类别。Kafka是使用Scala和Java编写的。 Apache Kafka是基于 – 发布订阅的容错消息系统。 它具有快速，可扩展和设计分布的特点。Kafka教程Kafka简介Kafka基本原理Kafka群集体系结构Kafka工作流Kaf...
2020-01-22 20:55:26
3520
原创 工程师年终总结2020年汇编语言基础学习教程全集
汇编语言是一种最低级、最古老、不具有移植性的编程语言，它能够直接访问计算机硬件，所以执行效率极高，占用资源极少，一般用于嵌入式设备、驱动程序、实时应用、核心算法等。汇编语言的缺点是开发周期特别长，实现一个简单的功能都非常麻烦，已经很少用来编写应用程序了。这套汇编语言入门教程基于 Windows 32/64 位系统，讲解与 Intel 和 AMD 处理器相兼容的汇编语言程序设计，让大家认识机...
2020-01-22 20:53:14
3929
原创 工程师总结汇总2020年学习Docker基础入门教程全集
Docker 是一个开源的、轻量级的容器引擎，主要运行于 Linux 和 Windows，用于创建、管理和编排容器。和 VMware 虚拟机相比，Docker 使用容器承载应用程序，而不使用操作系统，所以它的开销很少，性能很高。但是，Docker 对应用程序的隔离不如虚拟机彻底，所以它并不能完全取代 VMware。这套 Docker 教程同时讲解了 Docker 的使用以及底层原理，并附带...
2020-01-22 20:52:02
3748
原创 web前端开发零基础入门教程
端工程师是互联网时代软件产品研发中不可缺少的一种专业研发角色。从狭义上讲，前端工程师使用 HTML、CSS、JavaScript 等专业技能和工具将产品UI设计稿实现成网站产品，涵盖用户PC端、移动端网页，处理视觉和交互问题。从广义上来讲，所有用户终端产品与视觉和交互有关的部分，都是前端工程师的专业领域。html教程HTML简介HTML编辑器HTML基础HTML元素HTML属性HTML标题HT...
2020-01-22 20:49:14
4190
原创 Hive、MapReduce、Spark分布式生成唯一数值型ID
在实际业务场景下，经常会遇到在Hive、MapReduce、Spark中需要生成唯一的数值型ID。一般常用的做法有：MapReduce中使用1个Reduce来生成； Hive中使用row_number分析函数来生成，其实也是1个Reduce； 借助HBase或Redis或Zookeeper等其它框架的计数器来生成；数据量不大的情况下，可以直接使用1和2方法来生成，但如果数据量巨大，1...
2020-02-02 21:59:58
2263
原创 快速为CDH版本HADOOP安装配置Lzo和Snappy压缩
注：本文针对的是使用命令行安装和配置CDH Hadoop，如果你使用RPM或者ClouderaManager，基本可以忽略此文。Hadoop在计算和存储过程中，支持对文件进行压缩，可以使用hadoop checknative命令来查看：其中，像zlib、lz4、bzip2，会使用系统库，那么需要在Hadoop所在机器上先安装这些。Snappy和Lzo，需要单独安装配置，CDH版本的...
2020-02-02 21:59:39
1970
原创 主流开源SQL（on Hadoop）总结，不断改进的Hive始终遥遥领先
本文涵盖了6个开源领导者：Hive、Impala、Spark SQL、Drill、HAWQ 以及Presto，还加上Calcite、Kylin、Phoenix、Tajo 和Trafodion。以及2个商业化选择Oracle Big Data SQL 和IBM Big SQL，IBM 尚未将后者更名为“Watson SQL”。（有读者问：Druid 呢？我的回答是：检查后，我同意Druid 属于...
2020-02-02 21:59:36
1908
原创 HDFS-HA集群中客户端如何找到Active NameNode
Hadoop2.0中，HDFS实现了HA，具体实现及原理请网上搜索。其中HDFS的配置包含以下几个必须参数：<property><name>dfs.nameservices</name><value>cdh5</value><description>指定HDFS的命名服务，一般和fs.defaultFS中的autho...
2020-02-02 21:59:33
2538
原创 从零基础开始学Hadoop架构原理到精通汇总
一、概念Hadoop诞生于2006年，是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成。Hadoop与Google一样，都是小孩命名的，是一个虚构的名字，没有特别的含义。从计算机专业的角度看，Hadoop是一个分...
2020-02-01 21:59:54
1886
原创 十大顶级大数据可视化工具
要使数据分析真正有价值和有洞察力，就需要高质量的可视化工具。市场上有很多产品，特点和价格各不相同，本文列出了一些广泛认可的工具。其实企业如何选择一个合适的可视化工具，并不是一件容易的事情，需要仔细的考虑。Salesforce公司的一项调查显示：53%的员工要经常查看分析数据，却只是依靠手工操作。在大量的电子表格、图表和数据中滚动鼠标，就好比是大海捞针。数据可视化工具面向用户直观显示结果，帮助用...
2020-02-01 21:59:50
1762
原创 2020年预知的十大大数据技术整理汇集
数字时代最先进的技术之一就是。大数据不是一个流行的术语，而是用来描述规模庞大、随时间急剧变大的数据集合的术语。这意味着该数据很庞大，传统管理工具都无法分析、存储或处理它。大数据不仅仅是个术语。它与、区块链、物联网和增强现实等其他技术密切相关。因此，许多行业已经在大数据分析技术方面作了投入，比如银行、离散制造和流程制造等行业。为了进一步了解这项数据技术，下面列出了你在2020年不可不知的...
2020-02-01 21:59:40
1094
原创 大数据和人工智能，云计算三者关系和区别详解
今天跟大家讲讲云计算、大数据和人工智能。为什么讲这三个东西呢?因为这三个东西现在非常火，并且它们之间好像互相有关系：一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员，就可能比较难理解这三者之间的相互关系，所以有必要解释一下。大数据是指在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要...
2020-02-01 21:59:35
8800
1
原创 Hadoop是做什么的，hadoop集群搭建作用
目的本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。更多精彩内容 精彩内容点我学先决条件确保在你集群中的每个节点上都安装了所有必需软件。 获取Hadoop软件包。安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常...
2020-01-30 08:48:48
6116
原创 大数据学习菜鸟的Hadoop快速入门基础教程汇总详细解答
大数据学习菜鸟的Hadoop快速入门基础教程汇总详细解答1、大数据大数据是一门概念，也是一门技术，是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。大数据包括了以Hadoop和Spark为代表的基础大数据框架，还包括实时数据处理，离线数据处理，数据分析，数据挖掘和用机器算法进行预测分析等技术。更多精彩内容 点击我学2、HadoopHadoop是一个开源的大数据...
2020-01-30 08:48:41
3054
原创 大数据Hadoop教程：Hadoop核心架构详细解析
通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。如有不足，后续及时修改。更多精彩内容 请点我学HDFS的体系架构整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。HDFS采用主从(Mas...
2020-01-30 08:48:17
6014
原创 大数据开发项目之微博如何向五亿人推荐东西
大数据开发项目之微博如何向五微博（Weibo）是一种通过关注机制分享简短实时信息的广播式社交网络平台。微博用户通过关注来订阅内容，在这种场景下，推荐系统可以很好地和订阅分发体系进行融合，相互促进。微博两个核心基础点：一是用户关系构建，二是内容传播，微博推荐一直致力于优化这两点，促进微博发展。如图 1 所示：更多精彩内容 请点我学图 1 微博推荐的使命在微博推荐发展的过程中遇到...
2020-01-28 19:51:49
1477
原创 大数据开发流程图全集汇总，方便程序员熟悉学习流程关系特撒·
1、大数据流程图2、大数据各个环节主要技术2.1、数据处理主要技术Sqoop：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive) 与传统数据库（MySql,PostgreSQL）间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中，更多精彩内容 请点我也可以将HDFS中的数据导入关系型数据库中。如果你对大数据开发感兴趣，想系...
2020-01-28 19:50:40
1933
原创 大数据技术所涉及的的数学基础有哪些？
由于工作关系，在我的周围存在这两类人，一是正在学校学习的大学生，二是在IT公司从事研发设计的工程师。他们在数学学习和应用方面出现了两个极端。在校大学生，特别是大一、大二的学生每学期都有一些诸如数学分析、线性代数、数论之类数学课程，尽管在课堂上可以听到莱布尼茨和牛顿的纠葛故事、笛卡尔的爱情故事，但是他们往往感到很迷茫，因为不知道所学的数学知识到底有什么用。对于IT公司的研发人员来说，他们在进入大数据...
2020-01-28 19:48:12
2241
原创 转岗前景分析：人工智能、大数据开发是未来高薪的趋势？
相信有不少人在从事某个行业一定时间之后都有过想要转岗的想法，或许是薪资达不到心理预期，或者是技术上遇到瓶颈等等等等。下面我们来梳理一下一个人工作一段时间后，为什么想要转岗的可能原因吧，从转岗前工作和想转去的岗位两个角度我们来简单总结一下：转岗前工作情况行业发展前景不佳，要么过于冷门，要么趋于饱和工作内容重复，枯燥，技能提升不明显薪水涨幅小目前工作与个人性格相悖，比如性格内向的人...
2020-01-28 19:46:30
1234
原创 如何选择大数据的编程语言？R，Python还是Java?
大家介绍一下关于如何选择大数据的编程语言呢？首先比如有一个大数据项目，你知道问题领域(problemdomain)，也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言?(或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言?)这个问题不会推迟太久，迟早要定夺。如何选择大数据的编程语言当然，没有什么阻止...
2020-01-28 19:43:55
1196
原创 mysql 的Escape转义字符串
一、转义的意义用户输入如果没有任何限制的话，则必须对特殊字符进行变换。如果对单引号不进行变换，轻者不能正常执行功能，重则会发生数据库错误，甚至可能导致系统崩溃。二、需要转义的字符类型在字符串中，某些序列具有特殊含义。这些序列均用反斜线(‘’)开始，即所谓的转义字符。MySQL识别下面的转义序列：ASCII 0(NUL)字符。‘单引号(‘’’)。”双引号(‘”’)...
2020-01-27 16:47:38
1802
原创 大数据工程师整理Hadoop大数据处理框架简介
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella 在 2005 年合作开发。后来，Hadoop 被贡献给了 Apache 基金会，成为 Apache 基金会的开源项目。Hadoop 系统简介Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apac...
2020-01-27 16:47:16
1120
原创 0基础入门大数据开发需要学习什么内容？Hadoop体系
0基础入门大数据开发需要学习什么内容？Hadoop体系大数据开发学习需要的基础知识，接下来继续介绍大数据技术学习的重点之一：Hadoop。Hadoop技术体系（1）简介：Hadoop是Apache开源组织的一个分布式基础框架，提供了一个分布式文件系统 (HDFS)、分布式计算（MapReduce）及统一资源管理框架（YARN）的软件架构。用户可以在不了解分布式底层细节的情况下，开发...
2020-01-27 16:46:03
6342
原创 编程和大数据，哪个前景好？大数据常用技术有哪些？
想转IT方向，选择编程前景好还是大数据？s咋VCX今天我们就来看一位专业人士对于编程和大数据的解读。从就业而言，大数据和编程并不是什么冲突的岗位，而事实上大数据岗位也对编程能力也有不低的要求。通常我们所说的大数据工程师, 普遍指的是Hadoop生态系的开发者。随着时间推移，大数据行业也经过了很多的变化，现在的热点也已经由大数据转向了AI，而大数据行业进入了一个相对平稳的发展期。其实也很...
2020-01-27 16:45:03
1424
原创 MySQL like查询字符转义遇到的坑
最近遇到一个问题， 在MySQL like查询时， 明明字符串时相同的， 但是却like不到结果， 后面经过多方面查找资料， 终于发现是字符串转义的问题， 而MySQL的LIKE的转义和普通字符串的不同。首先来看一个测试： 1 2 3 4 5 6 7 mysql>SET@a='\';SELECT@a,@...
2020-01-26 14:37:15
2113
原创 MySQL保留几位小数的4种方法
SQL的LIKE查询语句中，有一些特殊的字符，需要转换后才能搜索到结果：‘：用于包裹搜索条件，需转为’；%：用于代替任意数目的任意字符，需转换为%；_：用于代替一个任意字符，需转换为_；：转义符号，需转换为\\。以下是一些匹配的举例。SELECT * FROM `table` WHERE `title` LIKE ‘a’b%’; — 搜索a’b…S...
2020-01-26 14:36:38
3850
原创 MySQL用LIKE特殊字符搜索
SQL的LIKE查询语句中，有一些特殊的字符，需要转换后才能搜索到结果：‘：用于包裹搜索条件，需转为’；%：用于代替任意数目的任意字符，需转换为%；_：用于代替一个任意字符，需转换为_；：转义符号，需转换为\\。以下是一些匹配的举例。SELECT * FROM `table` WHERE `title` LIKE ‘a’b%’; — 搜索a’b…S...
2020-01-26 14:35:56
1498
原创 深入Python流程控制学习，python基础学习
深入 Python 流程控制除了前面介绍的语句，Python 还从其它语言借鉴了一些流程控制功能，并有所改变。精彩内容学习 点我学4.1. if语句也许最有名的是if语句。例如:>>> x = int(input("Please enter an integer: "))Please enter an integer: 42>>>...
2020-01-26 14:35:13
1224
原创 python编程的第一步，把python当做计算器来计算
Python 简介下面的例子中，输入和输出分别由大于号和句号提示符（>>>和...）标注：如果想重现这些例子，就要在解释器的提示符后，输入（提示符后面的）那些不包含提示符的代码行。需要注意的是在练习中遇到的从属提示符表示你需要在最后多输入一个空行，解释器才能知道这是一个多行命令的结束。本手册中的很多示例——包括那些带有交互提示符的——都含有注释。Python 中的...
2020-01-26 14:31:56
1650
原创 Python解释器详细解答汇集
使用 Python 解释器2.1. 调用 Python 解释器Python 解释器通常被安装在目标机器的/usr/local/bin/python3.5目录下。将/usr/local/bin目录包含进 Unix shell 的搜索路径里，以确保可以通过输入:python3.5命令来启动他。[1]由于 Python 解释器的安装路径是可选的，这也可能是其它路径，你...
2020-01-26 14:30:26
680
原创 python零基础入门学习指南第一课
如果你要用计算机做很多工作，最后你会发现有一些任务你更希望用自动化的方式进行处理。比如，你想要在大量的文本文件中执行查找/替换，或者以复杂的方式对大量的图片进行重命名和整理。也许你想要编写一个小型的自定义数据库、一个特殊的 GUI 应用程序或一个简单的小游戏。如果你是一名专业的软件开发者，可能你必须使用几种 C/C++/JAVA 类库，并且发现通常编写/编译/测试/重新编译的周期是如此漫长。也...
2020-01-26 14:29:27
839
原创 MySQL利用索引优化ORDER BY排序语句
创建表&创建索引 1 2 3 4 createtabletbl1( idintunique,snamevarchar(50), indextbl1_index_sname(snamedesc) ); 在已有的表创建索引语法create [unique|fulltext|spat...
2020-01-26 14:26:27
710
原创 mysql中int、bigint、smallint 和 tinyint的区别与长度的含义
最近使用mysql数据库的时候遇到了多种数字的类型，主要有int,bigint,smallint和tinyint。其中比较迷惑的是int和smallint的差别。今天就在网上仔细找了找，找到如下内容，留档做个总结：使用整数数据的精确数字数据类型。bigint从 -2^63 (-9223372036854775808) 到 2^63-1 (9223372036854775807) 的整型...
2020-01-26 14:24:43
765
原创 python基础教程第三版电子版百度云
本书包括Python程序设计的方方面面：首先从Python的安装开始，随后介绍了Python的基础知识和基本概念，包括列表、元组、字符串、字典以及各种语句；然后循序渐进地介绍了一些相对高级的主题，包括抽象、异常、魔法方法、属性、迭代器；此后探讨了如何将Python与数据库、网络、C语言等工具结合使用，从而发挥出Python的强大功能，同时介绍了Python程序测试、打包、发布等知识；最后，作者结合...
2020-01-25 14:38:37
3972
1
原创 python爬虫教程代码示例经典例子菜鸟怎么学
实例3–股票数据定向爬虫程序结构如下：1.先从网站中获取股票代号列表（requests库，re库）2.遍历每一只股票，从股票信息网站中获得详细信息3.使用字典的数据结构，写入文本文件中更多的内容学习 点我以下为代码： 1 # 股票数据定向爬虫 2 """ 3 Created on Thu Oct 12 16:12:48 2017 4 5 @auth...
2020-01-25 14:37:46
4195
1
原创 python入门代码指南教程书籍推荐2020总结全集汇总
python入门代码指南教程书籍推荐2020总结全集汇总记住，如果您想学习Python，市场上有很多可用的资源。这些可以包括书籍，甚至在线课程..在这篇文章中，我们为Python编写了最好的书籍，无论是为普通业余爱好者还是编程天才的孩子们！这些书中的每一本都非常受欢迎，所以你可以根据自己的学习感受来选择你喜欢的书。所以，让我们来看看他们吧！更多的学习内容 点我首先，让我们从简单开始，专...
2020-01-25 14:35:33
6404
1
原创 python中多线程与多进程的区别和联系
python多线程实现python多线程和多进程的区别python多线程爬虫python多线程坑python多线程可以在windows下实现吗python多线程并发python多线程变量共享python多线程是并发还是并行python多线程实例python多线程conditionPython中多进程与多线程的区别有：线程需要在进程中执行，一个进程可包含多个线程；进程可共享同个...
2020-01-25 14:34:10
4162
原创 python是什么类型的编程语言
python是什么类型的语言,为什么 python是什么类型的编程语言 python是什么类型的语音 python是什么类型的常量Python是一种计算机程序设计语言，是一种面向对象的动态、强类型脚本语言（解释型语言）。系统更多python教程 点我强类型：不允许不同类型相加动态类型：不使用显示数据类型声明，且确定一个变量的类型是在第一次给它赋值的时候脚本语言：一...
2020-01-24 21:50:08
2171
原创 2020年整理的python零基础入门教程汇总全集
Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。Python由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。像Perl语言一样, Python 源代码同样遵循 GPL(GNU General Public License)协议。Python基础教程Python简介Python环境搭建Python中文编码Python基础语...
2020-01-24 10:57:17
3603
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人