大数据技术
文章平均质量分 92
大数据相关技术
GUI Research Group
机器学习, 生物信息
展开
-
阿里大数据分析与应用(part7)--机器学习平台PAI
学习笔记,仅供参考,有错必纠文章目录机器学习平台PAI机器学习PAIPAI的使用流程PAI的数据建模PAI三种建模方式PAI的在线预测、离线调度机器学习平台PAI机器学习PAI**阿里云机器学习平台PAI( Platform of Artificial Intelligence ):**是构建在阿里云MaxCompute计算平台之上,集数据处理、建模、离线预测、在线预测为一体的机器学习平台。为算法开发者提供了丰富的MPI、PS、BSP等编程框架和数据存储接口,同时提供了基于WEB的可视化控制台,原创 2020-11-17 18:58:52 · 843 阅读 · 0 评论 -
阿里大数据分析与应用(part6)--数据大屏DataV
学习笔记,仅供参考,有错必纠文章目录数据大屏DataVDataV介绍DataV基本操作DataV 的使用流程DataV的场景模板DataV丰富开放的图表库DataV 多样的地理信息组件DataV支持的数据源DataV 图形化编辑界面DataV 数据交互分析数据大屏DataVDataV介绍DataV数据可视化是阿里云研发的,使用可视化大屏的方式来分析并展示庞杂数据的产品。DataV旨让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,满足会议展览、业务原创 2020-11-16 17:03:30 · 1210 阅读 · 0 评论 -
阿里大数据分析与应用(part5)--QuickBI
学习笔记,仅供参考,有错必纠文章目录Quick BIQuick BI介绍Quick BI 的使用流程添加数据源创建数据集编辑数据集制作电子表格编辑仪表板搭建门户Quick BIQuick BI介绍Quick BI 是一个基于云计算的灵活的轻量级的自助BI工具服务平台。它提供海量数据实时在线分析,拖拽式操作、丰富的可视化效果,帮助您轻松自如地完成数据分析、业务数据探查。它不止是业务人员看数据的工具,更是数据化运营的助推器,解决大数据应用最后一公里的问题,实现人人都是数据分析师。Quick BI是原创 2020-11-16 16:18:35 · 628 阅读 · 0 评论 -
阿里大数据分析与应用(part4)--一站式大数据平台DataWorks
学习笔记,仅供参考,有错必纠文章目录一站式大数据平台DataWorks大数据开发平台-DataWorksDataWorks 的主要功能及作用DataWorks基本操作数据平台开发流程数据处理本地数据导入数据节点开发任务调度配置(略)DataWorks中的参数设置数据管理运维操作智能监控一站式大数据平台DataWorks大数据开发平台-DataWorksDataWorks(数据工场,原大数据开发套件)是阿里云数加重要的PaaS平台产品,它提供全面托管的工作流服务,一站式开发管理的界面,帮助企业专注原创 2020-11-16 15:16:25 · 876 阅读 · 0 评论 -
阿里大数据分析与应用(part3)--常用的大数据分析平台
学习笔记,仅供参考,有错必纠文章目录常用的大数据分析平台什么是大数据分析平台基于Hadoop的大数据分析平台阿里云大数据平台典型阿里云大数据平台架构MaxComputeMaxCompute 的主要功能及作用MaxCompute 的使用流程MaxCompute常见使用方式MaxCompute的客户端MaxCompute的客户端应用数据上传/下载综述Tunnel上传/下载数据MaxCompute SQLMaxCompute SQL的关键字MaxCompute SQL的类型转换MaxCompute SQL的运原创 2020-11-16 13:44:53 · 1786 阅读 · 0 评论 -
阿里大数据分析与应用(part2)--大数据分析的流程与常用技术
学习笔记,仅供参考,有错必纠学习自:云中学院大数据课堂文章目录大数据分析流程数据采集方法大数据采集方法离线数据采集ETL实时数据采集与处理数据预处理技术数据集成数据清洗数据变换数据规约数据存储与管理分布式文件系统-HDFS分布式列存数据库 – HBase内存数据库 – Redis消息分发和存储 – Kafka非结构化数据存储 – OSS数据分析处理技术离线批处理MapReduce通用计算框架 – Spark实时流处理大数据分析方法数据挖掘机器学习数据可视化数据可视化技术数据可视化常见方法常见可视化图表原创 2020-11-16 09:22:47 · 808 阅读 · 0 评论 -
阿里大数据分析与应用(part1)--大数据概述
学习笔记,仅供参考,有错必纠学习自:云中学院课堂网课文章目录什么是大数据大数据的特征VolumeVarietyValueVelocity大数据的分类什么是大数据大数据(Big Data),指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特征大数据的主要特征我们可以用4个V来概括:Volume,大数据的体量非常巨大Variety,种类繁多,大数据的来源多种多样原创 2020-11-15 22:37:01 · 1040 阅读 · 2 评论 -
从1到无穷大研究大数据(part1)--学习规划
学习笔记,仅供参考,有错必纠更新频率:每周至少3更该系列博文命名规范:从1到无穷大研究大数据(part#)--[学习模块]之[博客主题]若无学习模块分类,则命名规范为:从1到无穷大研究大数据(part#)--[博客主题]文章目录标题解释短期学习任务2020年7月-2021年3月(入门)2021年5月及以后(进阶)关于机器学习标题解释为啥是从1开始呢?原本想把这个系列起名为从0开始,但是我发现,自己不是完全的小白,学过一些JAVA、Linux和Hadoop,搭建过大数据平台,参加过大原创 2020-07-21 14:38:57 · 1727 阅读 · 2 评论 -
zookeeper安装及分布式配置
zookeeper安装及分布式配置下载zookeeper解压到/usr/local/目录下tar -xvf [zookeeper压缩包名] -C /usr/local/对zookeeper目录重命名(进入/usr/local/目录)mv [zookeeper原始名字] zk配置zookeeper相关环境变量原创 2017-11-20 23:52:09 · 299 阅读 · 0 评论 -
Hive入门之数据类型
基本数据类型tinyint/smallint/int/bigint //整数类型float/double //浮点数类型boolean //布尔类型string原创 2017-11-21 00:24:23 · 326 阅读 · 0 评论 -
hive入门之安装模式
Hive的安装模式这个网址能找到apache所有产品的安装包: archive.apache.org/dist/嵌入模式元数据信息被存储在HIVE自带的Derby数据库中 -只允许创建一个连接 -多用于Demo本地模式元数据信息被储存在Myswl数据库中 -Mysql数据库与Hive运行在同一台物理机器上 -多用于开发和测试远程模式Hive的元信息被保存在m原创 2017-11-21 00:32:05 · 368 阅读 · 0 评论 -
HIVE入门之数据模型
内部表内部表(Table)-与数据库的Table在概念上类似-每一个Table在Hive中都有一个相应的目录(HDFS上的目录)存储数据-所有的Table数据(不包括External Table)都保存在这个目录(HDFS目录)中-表的元数据信息,存储在元数据数据库中(mysql)-删除表后,元数据和数据都会被删除创建表--案例:create table原创 2017-11-21 09:09:31 · 833 阅读 · 0 评论