排序:
默认
按更新时间
按访问量

Shell特殊变量的含义

Shell特殊变量:Shell 0," role="presentation" style="position: relative;">0,0,0, #, ∗," role="presentation...

2018-02-05 10:16:25

阅读数:34

评论数:0

Hive语句前的常见设置

1.hive.cli.print.header=true 是否显示查询结果的列名,默认为不显示 2.set hive.exec.parallel=true; 参数控制在同一个sql中的不同的job是否可以同时运行,默认为false. 3.hive.map.aggr=true...

2017-12-04 14:32:28

阅读数:145

评论数:0

hive日志的存储位置

日志记录了程序运行的过程,是一种查找问题的利器。Hive中的日志分为两种 系统日志,记录了hive的运行情况,错误状况。 Job 日志,记录了Hive 中job的执行的历史过程。 系统日志存储在什么地方呢 ?在hive/conf/ hive-log4j.properties 文件中记录了Hive日...

2017-09-12 10:33:29

阅读数:137

评论数:0

python安装opencv模块

安装纠缠了很久,今天终于装上opencv了。 具体环境是,先安装了Anaconda,然后进入如下页面: https://anaconda.org/menpo/repo?type=conda&label=main 点击opencv 或者opencv3,页面下会有相应的安装命令: 如o...

2017-06-29 21:48:47

阅读数:308

评论数:0

关于HiveQL的常用语法总结(四)——其它技巧(hive代码优化)

大数据有一个特点,就是数据量大,因此如果能提高代码本身的运行效率,或者是使得代码在分布式机器上能更好的进行计算,就会极大的节省时间成本或者是资源成本。所以,本节想给大家分享下hive的优化。引言——优化思路首先是一个思路的问题。hive代码该怎么去优化呢?从哪里着手? 显然这是代码跑的比较慢之后...

2017-05-21 18:09:26

阅读数:309

评论数:0

关于HiveQL的常用语法总结(三)——常用函数

这一节,常常可以使得我们的hive代码简洁高效,甚至是完成一些用常规方法“基本完成不了”的事情,所以这一节我也想跟大家分享下。本节主要分享下平时经常用到的但又容易忽略的函数,肯定不是Hive的全部内置函数。Hive的全部内置函数可以从获取。 参考链接:https://cwiki.apache.o...

2017-05-21 16:43:37

阅读数:1046

评论数:0

关于HiveQL的常用语法总结(二)——DML

本节,应该是数据库作业中使用最频繁的内容,也是至为重要的一节。但是也不必紧张,无非就是增删改查,重点在于查,为什么呢?在大数据时代,最重要的两个主题是分析和挖掘。无论是分析还是挖掘,其基础都是有数据可依据,那么就需要将目标数据查找出来,因此这是最基础的一步,当然也就是用的最多的一步。本节主要讲四个...

2017-05-21 16:22:57

阅读数:257

评论数:0

关于HiveQL的常用语法总结(一)——DDL

利用Hadoop平台做用户画像也有一些时日了,用到Hive的时候是非常多的,今年年初就想总结下Hive中常用的语法情况,因为各种各样的原因,一直拖到现在,惭愧…总算可以稍作总结下了,这个主题我想分为三个部分进行叙述:DDL——DML——其它技巧。 本系列文章的定位是:总结hive的常用知识点和实...

2017-05-21 14:34:06

阅读数:355

评论数:0

常见推荐系统—综述

1.关于推荐系统随着互联网技术和社会化网络的发展,每天有大量包括博客,图片,视频,微博等等的信息发布到网上。传统的搜索技术已经不能满足用户对信息发现的需求,原因有多种,可能是用户很难用合适的关键词来描述自己的需求,也可能用户需要更加符合他们兴趣和喜好的结果,又或是用户无法对自己未知而又可能感兴趣的...

2017-05-16 23:46:16

阅读数:469

评论数:0

迁移学习系列(一)

本系列梗概本次想分享的是迁移学习,不是像目前大部分的论文一样讲想法讲思路,当然我不是觉得思路想法不重要,其实是觉得很重要,但同时我也是一个很注重实战的人,所以想在这里通过一次金融大数据比赛来跟大家分享一次实战经验,谈谈迁移学习。大致分为五个章节来叙述: 1.事情前因后果的概述,思路之类的 2....

2017-05-13 23:03:57

阅读数:299

评论数:0

python-内嵌函数和闭包

**一、概述** Python中,是一切皆对象的,函数当然也是,因此函数内部是可以再嵌套函数的,这一点下面可以举例子说明。 再延伸一点,就能引申出一个高级概念了:闭包。嵌套函数在其外部函数(但不是全局区域)内使用,那么这个嵌套函数就会被认为是闭包。 如前所述,闭包是一...

2017-04-23 17:26:49

阅读数:465

评论数:0

Python-numpy库学习系列——newaxis

今天看源代码,发现了newaxis库的属性,貌似很有用的样子,就自己试验了下import numpy as np x=np.array([1,2,3]) #创建矩阵y=np.array([1,2,3])[:,np.newaxis]#增加维度,x.shape Out[11]: (3,)y.shape...

2017-03-13 23:35:51

阅读数:699

评论数:0

TesnsorFlow安装与调试

随着谷歌最近的TesnsorFlow V1.0的发布和技术峰会的举办,TesnsorFlow就逐步走入了更多人的视野了,深度学习也将会推向另一个热潮,我也尝试了下TesnsorFlow在Mac上的安装与调试,下面讲述下步骤。我的安装主要是与Python相结合使用的,TesnsorFlow的安装会涉...

2017-02-19 12:23:21

阅读数:1057

评论数:0

概述Hadoop和Spark

目前大数据技术具有代表性的大体上是分为两代大数据技术: 以Hadoop为核心的第一代大数据生态圈 包括hive/mahout/Impala/Flume/Zoomkeeper… 以Spark为核心的第二代大数据生态圈 包括mllib/SparkQL/Spark Streaming/GraphX...

2017-02-16 23:58:49

阅读数:345

评论数:0

Hive2.0函数大全(中文版)

摘要Hive内部提供了很多函数给开发者使用,包括数学函数,类型转换函数,条件函数,字符函数,聚合函数,表生成函数等等,这些函数都统称为内置函数。目录数学函数 集合函数 类型转换函数 日期函数 条件函数 字符函数 聚合函数 表生成函数具体的可以参见链接Hive2.0中文使用手册**参考...

2016-12-12 23:38:56

阅读数:337

评论数:0

centos7+jdk1.8+scala+spark+IEDA(mac可参考)集群环境搭建

因为硬件原因,博文一直没有更新,非常抱歉,最近去买了一个配置比较好的笔记本,尝试了下spark在linux下环境的搭建,利用一个星期的业余时间,终于是搭建成功了,特此记下了,也是给大家一些借鉴,如有问题,可以留言,或者邮箱(xlydq1206@sina.com)。好,下面切入正题啦~ 首先,...

2016-12-08 16:51:02

阅读数:509

评论数:0

欢迎使用CSDN-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富...

2016-12-08 16:28:08

阅读数:274

评论数:0

深度学习-受限玻尔兹曼机(RBM)

受限玻尔兹曼机(Restricted Boltzmann Machine,简称RBM)是由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generative stochastic neural network),该网络由一些可见单元(visible unit,对应可见变...

2016-10-29 22:57:21

阅读数:612

评论数:0

Spark在Linux下集群的搭建

上篇博客写了下在Windows下安装Spark本地应用的方法,虽然如此,但其实我最想做的是在Linux下的Spark集群环境的搭建,如今实际使用的时候基本上都是在Linux上运行的,搭建一个Windows下的本地应用实在是不熟悉Linux,不熟悉Spark等,因此想先搞明白Spark是什么,搭建出...

2016-07-21 22:08:52

阅读数:769

评论数:1

Spark+Python+Pycharm在Windows下的配置

初次学习在大数据平台下做数据分析和数据挖掘,之前主要是在MATLAB上在一些数据分析,虽然很熟悉了,然而受速度和方便程度的影响,毕竟还是不太方便做实时的、集群的、超大数据量的分析,因此决定放下用了6年的MATLAB,转战python+spark。 为何选择python+spark?选择spark是...

2016-07-16 01:01:40

阅读数:11877

评论数:9

提示
确定要删除当前文章?
取消 删除
关闭
关闭