深度学习之图像 CV：CV是计算机视觉，作为算法岗火爆先锋部队，在五年前吃到了一大波红利。算法岗的落地场景我认为在搜索、广告、推荐、自然语言处理、计算机视觉、数据挖掘这六大算法岗中最多的。比如所有人都知道的人脸识别就是其中最大的应用场景，并且已经完全落地了，应用在无人售货机支付、APP登陆、支付宝微信银行等实名验证、交通违法自动识别、罪犯跟踪、门禁等等等等，商汤几乎就是靠着一手人脸识别的产品养活了整个公司。除此之外，CV还有无人驾驶、智能家居、监控、视频内容理解等等场景。但是应用场景多+第一批深度学习红利，带来的结果就是“
Hadoop--hdfs/dfs常用命令的使用 -mkdir 创建目录hdfs dfs -mkdir [-p] < paths>-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间hdfs dfs -ls [-R] < args>-put 将本地文件或目录上传到HDFS中的路径hdfs dfs -put < localsrc> … < dst>-get 将文件或目录从HDFS中的路径拷贝到本地文件路径hdfs dfs -get [-ignoreCrc] [-crc]
Shell--脚本统计文件行数 示例：row_count.sh文件awk '{print NR}' row_count.sh | tail -n1awk 'END{print NR}' row_count.shgrep -n "" row_count.sh|awk -F: '{print '} | tail -n1sed -n '$=' row_count.shwc -l row_count.shcat row_count.sh | wc -l一、获取指定目录所有文件的行数：#!/bin/bash file
shell--插入数据(sed) #如果知道行号可以用下面的方法sed -i ‘88 r b.file’ a.file #在a.txt的第88行插入文件b.txtawk ‘1;NR==88{system(“cat b.file”)}’ a.file > a.file#如果不知道行号，可以用正則匹配sed -i ‘/regex/ r b.txt’ a.txt # regex是正则表达式awk ‘/target/{system(“cat b.file”)}’ a.file > c.file#sed的話如果不改变源文
hive-日期转换 参考网址：https://blog.csdn.net/lichangzai/article/details/194062151.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat])返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：hive> select from_unixtime(1323308
后台--nohup & 1.nohup用途：不挂断地运行命令。语法：nohup Command [ Arg … ] [ & ] 无论是否将 nohup 命令的输出重定向到终端，输出都将附加到当前目录的 nohup.out 文件中。 如果当前目录的 nohup.out 文件不可写，输出重定向到 $HOME/nohup.out 文件中。 如果没有文件能创建或打开以用于追加，那么 Command 参数指定的命令不可调用。退出状态：该命令返回下列出口值： 126 可以查找但不能调用 Command 参数
sql--执行顺序 (8)SELECT (9)DISTINCT (11)<Top Num> <select list>(1)FROM [left_table](3)<join_type> JOIN <right_table>(2)ON <join_condition>(4)WHERE <where_condition>(5)GROUP BY <group_by_list>(6)WITH <CUBE | RollUP>
SQL-rollup、cube（hive） 先举个例：group by WITH ROLLUPmysql> select dep,pos,avg(sal) from employee group by dep,pos with rollup; +------+------+-----------+ | dep | pos | avg(sal) | +------+------+-----------+ | 01 | 01 | 1500.0000 | | 01 | 02 | 1950.0000 | | 01 | NU
大数据调度脚本--日期处理 日期处理是关于如何获取日期以及格式化日期，举个最常见的例子，销售类报表是领导一定都要看的。假如每天十点之前要给领导递交昨天的销售数据，假设和领导约定要在每天上午的十点，你是怎么处理的呢？？？场景说明针对大数据开发初学者，给初学者看的；学习收获：掌握DML语句开发出来之后，如何写调度程序知识储备要求：有一定的 sql 基础，尤其是 query 语句，了解 shell 脚本本文讲解面向平台是大数据计算平台，例如，hive、presto 等单个任务下，常见的几个问题列表日期处理路径问题变量替
HIVE--常用hql语句 Hive 的启动方式：1、hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive - -service cli2、hive web界面的启动方式，hive - -service hwi3、hive 远程服务 (端口号10000) 启动方式，nohup hive - -service hiveserver & 创建表cite，并指定列的分隔符为“,”：create table cite(citing INT, cited INT) row
Hive--排序 1). order by 只有一个reduce负责对所有的数据进行排序，若大数据量，则需要较长的时间。建议在小的数据集中使用order by 进行排序。2). order by 可以通过设置hive.mapred.mode参数控制执行方式，若选择strict，则order by 则需要指定limit（若有分区还有指定哪个分区） ；若为nostrict，则与关系型数据库差不多。3). sort ...
Linux--常用命令 系统信息arch 显示机器的处理器架构uname -m 显示机器的处理器架构uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示CPU info的信息ca...
HIVE--入门小结 Hive是基于Hadoop的一个数据仓库，可以将结构化的数据文件映射为一张表，并提供类sql查询功能，Hive底层将sql语句转化为mapreduce任务运行。相对于用java代码编写mapreduce来说，Hive的优势明显：快速开发，人员成本低，可扩展性（自由扩展集群规模），延展性（支持自定义函数）。Hive的构架：Hive提供了三种用户接口：CLI、HWI和客户端。客户端是使用JDBC...
SQL--join 在多表查询中，一些SQL开发人员更喜欢使用WHERE来做join，比如：SELECT a.ID, b.Name, b.Date FROM Customers a, Sales b WHERE a.ID = b.ID;缺点：在上面语句中，实际上是创建了两张表的笛卡尔积，所有可能的组合都会被创建出来。在笛卡尔连接中，在上面的例子中，如果有1000顾客和1000条销售记录，这个查询会先产生100000...
PyQt+PyCharm 本文描述Windows系统下如何安装Python + PyCharm + PyQt5，并通过PyQt5 采用 两种方式设计GUI界面。a.直接使用代码设计界面；b. 先使用QtDesigner进行可视化设计，然后将生成的.ui文件转换成.py文件。安装python（本人3.7）安装PyQtpip install PyQt5pip install PyQt5-tools安装pyCharm...
pycharm--常用快捷键 EditingCtrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档Shift + F1 外部文档Ctrl + 鼠标 简介Ctrl + F1 显示错误描述或警告信息Alt + Insert 自动生成代...
tensoflow--代码学习7(autoencoder) 代码段1：#Autoencoderimport tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt#import MNIST datafrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_dat...
tensorflow--代码学习6(RNN--regression) #rnn lstm regression回归import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltBATCH_START = 0TIME_STEPS = 20BATCH_SIZE = 50INPUT_SIZE = 1OUTPUT_SIZE = 1CELL_SIZE = 10LR = 0...
tensorflow--代码学习5(CNN) #cnnimport tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#number 1-10 datamnist = input_data.read_data_sets('MNIST_data',one_hot=True)def compute_accuracy(v_xs,v_ys...
关注
