大数据开发常识
文章平均质量分 68
Running_Tiger
这个作者很懒,什么都没留下…
展开
-
python多种SMTP邮件格式发送
python多种SMTP邮件格式发送文本类邮件HTML类邮件附件类邮件SSL加密邮件文本类邮件# -*- encoding: utf-8 -*-# @Author : Running_Tiger # @File : sendmail.py # @Time : 2020/11/3 0:25import smtplibfrom email.mime.text import MIMETextfrom email.header import Header# 第三方 SMTP 服务ma原创 2020-11-06 00:23:13 · 772 阅读 · 0 评论 -
大数据(六)管理变革
大数据(六)管理变革1. 风险:让数据主宰一切的隐忧进行大数据分析的人可以轻松地看到大数据的价值潜力,这极大地刺激着他们进一步采集、存储、循环利用我们个人数据的野心。随着存储成本继续暴跌而分析工具越来越先进,采集和存储数据的数量和规模将突飞猛进地增长。大数据时代正在加深我们隐私的威胁。毕竟,大数据的核心思想就是用规模剧增来改变现状。大数据的价值不再单纯来源于它的基本用途,而更多源于它的二次利用。更重原创 2018-02-07 13:40:55 · 1801 阅读 · 0 评论 -
大数据(五)商业变革
大数据(五)商业变革1. 数据化:一切皆可“量化”大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。数据,会从最不可能的地方提取出来,很多从不被认为是数据、甚至不被认为和数据沾边的事物转化成了可以用数值来量化的数据模式。比如日本的越水重臣研究的坐姿和汽车防盗系统,很少有人会认为一个人的坐姿能表现什么信息,但是它真的可以。当一个人坐着的时候,他的身形、姿势和重量分布都可以量化和数据化。这样根原创 2018-02-07 13:37:11 · 1559 阅读 · 0 评论 -
大数据(四)思维变革
大数据(四)思维变革1. 需要全部数据样本而不是抽样当数据处理技术己经发生了翻天覆地的变化时,在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了,我们需要的是所有的数据,“ 样本= 总体”。我们要分析与某事物相关的所有数据,而不是依靠分析少量的数据样本。小数据时代的随机采样,源自记录、存储、和分析数据的工具不够好,用最少的数据获得最多的信息。然而随机采样毕竟有随机性,而且会丧失一些微观细节原创 2018-02-07 13:30:49 · 5254 阅读 · 0 评论 -
大数据(三)大数据相关的实践
大数据(三)大数据相关的实践1. 互联网的大数据互联网上的数据每年增长 50%,每两年便将翻一番,而目前世界上 90% 以上的数据是最近几年才产生的。据 IDC 预测,到 2020 年全球将总共拥有35ZB 的数据量。互联网是大数据发展的前哨阵地,随着 WEB2.0 时代的发展,人们似乎都习惯了将自己的生活通过网络进行数据化,方便分享以及记录并回忆。互联网上的大数据很难清晰的界定分类界限,我们先看原创 2018-02-07 13:20:31 · 1364 阅读 · 0 评论 -
大数据(二)大数据相关的技术
大数据(二)大数据相关的技术1. 云技术大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。原创 2018-02-07 13:10:56 · 3009 阅读 · 0 评论 -
大数据(一)大数据的相关理论
大数据(一)大数据的相关理论1.特征定义2.价值探讨3.大数据现在和未来4.大数据隐私原创 2018-02-07 13:01:39 · 23339 阅读 · 1 评论 -
工作流调度器
工作流调度器1. 工作流调度系统产生背景一个完整的数据分析系统通常都是由大量任务单元组成: shell 脚本程序,java 程序,mapreduce 程序、hive 脚本等。 各个任务单元之间存在时间先后依赖关系。 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行。2. 工作流调度实现方式简单的任务调度: 直接使用 linux 的 crontab 来定义,但是缺点也是比原创 2018-02-06 12:21:38 · 263 阅读 · 0 评论 -
云计算、大数据区别
云计算、大数据区别关于大数据和云计算的关系人们通常会有误解。而且也会把他们混起来说,分别做一句话解释就是:云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。虽然上面的一句话解释不是非常的贴切,但是可以帮助你简单的理解二者的区别。原创 2018-01-29 23:51:20 · 11867 阅读 · 1 评论 -
Flume安装部署
Flume安装部署1. 上传安装包上传安装包到数据源所在节点上 然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz 然后进入 flume 的目录,修改 conf 下的 flume-env.sh,在里面配置 JAVA_HOME2. 根据数据采集需求 配置采集方案根据数据采集需求 配置采集方案,描述在配置文件中(文件名可任意自定义)3. 指定采集方案配置文件指定原创 2018-02-03 19:52:46 · 4562 阅读 · 0 评论 -
消息中间件JMS入门
JMS入门消息中间件消息中间件利用高效可靠的消息传递机制进行平台无关的数据交流,并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型,它可以在分布式环境下扩展进程间的通信。对于消息中间件,常见的角色大致也就有Producer(生产者)、Consumer(消费者)原创 2018-01-09 19:04:55 · 13939 阅读 · 0 评论 -
Freemarker的list指令和内建函数
Freemarker的list指令和内建函数1.list指令2.获取集合大小3.JSON转换为对象4.日期格式化5.数字转换为字符串6.运算符原创 2018-01-08 21:46:03 · 16378 阅读 · 1 评论 -
Freemarker的FTL指令之include和if指令
Freemarker的FTL指令之include和if指令include指令用于模板文件的嵌套原创 2018-01-08 19:46:24 · 16977 阅读 · 0 评论 -
Freemarker的FTL指令之assign
Freemarker的FTL指令之assignassign指令用于在页面上定义一个变量定义简单类型<#assign linkman="马云">名人:${linkman}定义对象类型 <#assign info={"mobile":"13188886666","address":"北京市朝阳区"} >电话:${info.mobile} 地址:${info.address}运行效果喜欢就点赞原创 2018-01-08 19:03:35 · 16427 阅读 · 1 评论 -
Freemarker入门小DEMO
Freemarker入门小DEMOFreeMarker 是一个用 Java 语言编写的模板引擎,它基于模板来生成文本输出。FreeMarker与 Web 容器无关,即在 Web 运行时,它并不知道 Servlet 或 HTTP。它不仅可以用作表现层的实现技术,而且还可以用于生成 XML,JSP 或 Java 等。1.创建maven工程引入依赖dependency>原创 2018-01-08 17:34:22 · 7348 阅读 · 2 评论 -
JavaEE跟大数据的区别
javaEE跟大数据的区别1.架构层面javaEE体系:三层架构 表现层(Web) 业务层(service) 持久层(Dao) 大数据体系:围绕数据 数据采集(数据源) 数据存储 数据计算(分析) 数据展示2.技术层面JavaEE: 成熟 解决方案多 技术点集中 大数据:相对年轻 迭代更新快 解决方案相对少 技术相当繁琐 杂碎3.开发层面Java原创 2018-01-31 16:48:02 · 13278 阅读 · 0 评论 -
ActiveMq访问8161端口出现HTTP ERROR: 503错误
部署ActiveMq访问8161端口出现HTTP ERROR: 503错误喜欢就点赞评论+关注吧1.查看主机名 2.修改hosts文件原hosts文件原创 2018-01-07 13:37:45 · 8398 阅读 · 3 评论 -
SpringTask入门小Demo
SpringTask入门小Demo什么是任务调度在企业级应用中,经常会制定一些“计划任务”,即在某个时间点做某件事情,核心是以时间为关注点,即在一个特定的时间点,系统执行指定的一个操作。常见的任务调度框架有Quartz和SpringTask等。原创 2018-01-23 19:25:45 · 10869 阅读 · 0 评论 -
Hadoop 2.x集群搭建
Hadoop 2.x集群搭建1.发行版本Hadoop 发行版本分为开源 社区版和 商业版,社区版是指由 Apache 软件基金会维护的版本,是官方维护的版本体系。商业版 Hadoop 是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本,比较著名的有 cloudera 的CDH、mapR 等。我们学习的是社区版:Apache Hadoop。原创 2018-01-30 22:32:45 · 9215 阅读 · 0 评论