大数据
Fighting_No1
这个作者很懒,什么都没留下…
展开
-
Hive笔记1-简介
简介参考资料:Hive详细介绍及简单应用hive核心基本概念Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储(来自学习资料)Hive入门及常用指令Hive教程Hive学习路线图Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数...原创 2019-03-20 15:22:38 · 393 阅读 · 0 评论 -
神经网络实战
神经网络实战参考资料:TensorFlow中文社区教程TensorFlow学习 Mnist示例程序完整代码+注释解析机器学习入门MNIST(代码)TensorFlow 从入门到精通TensorFlow——MNIST手写数字识别TensorFlow入门之MNIST样例代码分析TENSORFLOW系列专题(九):常用RNN网络结构及依赖优化问题说明:以下代码示例基于Python3...原创 2019-04-23 10:11:19 · 2839 阅读 · 1 评论 -
神经网络
神经网络参考资料:TENSORFLOW系列专题TensorFlow 从入门到精通深度学习的概念是从人工神经网络的研究中发展而来的,早期的感知器模型只能解决简单的线性分类问题,后来发现通过增加网络的层数可以解决类似于“异或问题”的线性不可分问题,这种多层的神经网络又被称为多层感知器。对于多层感知器,我们使用BP算法进行模型的训练,但是我们发现BP算法有着收敛速度慢,以及容易陷入局部最优...原创 2019-04-23 10:10:34 · 1905 阅读 · 0 评论 -
TensorFlow入门
TensorFlow入门参考资料:TensorFlow中文社区教程TENSORFLOW从入门到精通之——TENSORFLOW基本操作TensorFlow升级到1.0版本的问题Tensorflow save&restore遇到问题及解决应对 NotFoundError: Key Variable_10 not found in checkpointTensorFlow的变量管理...原创 2019-04-23 10:09:29 · 8662 阅读 · 0 评论 -
机器学习基础
机器学习基础参考资料:小象学院机器学习课程TENSORFLOW系列专题TensorFlow 从入门到精通机器学习模型评估方法机器学习简介机器学习是一门致力于研究如何通过计算的手段,利用经验来改善系统自身的性能的学科。机器学习要研究的就是一个学习算法,这个学习算法能够从数据中产生模型(model),而模型能够给我们提供相应的判断。机器学习通过大量数据进行训练,从数据学习中推论...原创 2019-04-23 10:08:10 · 736 阅读 · 0 评论 -
Akka框架学习
Akka框架学习转载自Spark修炼之道一、并发编程简介多核处理器的出现使并发编程(Concurrent Programming)成为开发人员必备的一项技能,许多现代编程语言都致力于解决并发编程问题。并发编程虽然能够提高程序的性能,但传统并发编程的共享内存通信机制对开发人员的编程技能要求很高,需要开发人员通过自身的专业编程技能去避免死锁、互斥等待及竞争条件(Race Condition)等,...转载 2019-03-22 16:42:47 · 1713 阅读 · 0 评论 -
Spark Streaming笔记
Spark Streaming笔记转载自Spark修炼之道1. Spark流式计算简介Hadoop的MapReduce及Spark SQL等只能进行离线计算,无法满足实时性要求较高的业务需求,例如实时推荐、实时网站性能分析等,流式计算可以解决这些问题。目前有三种比较常用的流式计算框架,它们分别是Storm,Spark Streaming和Samza,各个框架的比较及使用情况,可以参见:htt...转载 2019-03-22 16:42:03 · 383 阅读 · 0 评论 -
Spark SQL笔记
Spark SQL笔记转载自Spark修炼之道1. Spark SQL简介Spark SQL是Spark的五大核心模块之一,用于在Spark平台之上处理结构化数据,利用Spark SQL可以构建大数据平台上的数据仓库,它具有如下特点:(1)能够无缝地将SQL语句集成到Spark应用程序当中(2)统一的数据访问方式DataFrames and SQL provide a common ...转载 2019-03-22 16:41:13 · 469 阅读 · 0 评论 -
Spark笔记
Spark笔记参考资料:Spark中文指南(入门篇)-Spark编程模型(一)适合小白入门Spark的全面教程Spark教程Spark修炼之道spark入门介绍(菜鸟必看)Spark学习总结(一)Spark(一): 基本架构及原理简介Spark是一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型,而且高效地支持更多的计算模式,包括交互式查询和...原创 2019-03-22 16:40:37 · 490 阅读 · 0 评论 -
Hadoop HDFS笔记
Hadoop HDFS笔记参考资料:初步掌握HDFS的架构及原理HDFS知识点总结深入理解HDFS:Hadoop分布式文件系统Hdfs详解深刻理解HDFS工作机制HDFS总结 思维导图一、简介HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的...原创 2019-03-18 17:00:54 · 652 阅读 · 0 评论 -
Hive笔记4-Shell操作
Hive Shell操作参考资料:Hive详细介绍及简单应用Hive基本操作,DDL操作(创建表,修改表,显示命令),DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等Hive入门及常用指令1、Hive命令行语法结构hive [-hiveconf x=y]* [<-i filename>]* [&...原创 2019-03-20 15:24:55 · 362 阅读 · 0 评论 -
Hive笔记3-HQL操作
HQL操作参考资料:Hive详细介绍及简单应用Hive基本操作,DDL操作(创建表,修改表,显示命令),DML操作(Load Insert Select),Hive Join,Hive Shell参数(内置运算符、内置函数)等Hive入门及常用指令Hive分区、分桶操作及其比较函数分类,HIVE CLI命令,简单函数,聚合函数,集合函数,特殊函数(窗口函数,分析函数,混合函数,UDT...原创 2019-03-20 15:24:19 · 817 阅读 · 0 评论 -
Hive笔记2-安装部署
二、安装部署环境:macOS High Sierra10.13.6、mysql8.0.15、Hadoop3.1.1、Hive3.1.1。参考资料:学习 Hadoop3.0 一、Hadoop3.0的安装与配置hadoop安装和配置hadoop详细安装及配置Hadoop: Setting up a Single Node Cluster安装hadoop3.0版本踩坑Hadoop _ ...原创 2019-03-20 15:23:33 · 266 阅读 · 0 评论 -
人脸识别笔记
人脸识别笔记参考资料:人脸识别技术看这一篇就够了(附国内人脸识别20强公司)人脸识别的十个关键技术组成及原理人脸识别技术百度百科人脸识别技术及应用,了解一下深度干货!一文读懂人脸识别技术(建议收藏)人脸识别技术及应用概览 全在这里人脸识别 :也叫面部识别,是一种基于人的脸部特征信息进行身份识别的生物识别技术。它用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪...原创 2019-07-01 16:03:43 · 8534 阅读 · 1 评论