- 博客(24)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 RabbitMQ ——应用安装及命令
RabbitMQ Win7安装1、下载erlang，原因在于RabbitMQ服务端代码是使用并发式语言erlang编写的，下载地址：http://www.erlang.org/downloads，双击.exe文件进行安装就好，安装完成之后创建一个名为ERLANG_HOME的环境变量，其值指向erlang的安装目录，同时将%ERLANG_HOME%\bin加入到Path中，最后打开命令行，输入e...
2018-05-31 17:29:01
7488
原创 Opencv识别图中人脸
#!/usr/bin/python#coding=utf-8# 识别图片中的人脸import face_recognitionjobs_image = face_recognition.load_image_file("C:/rlsb/jobs.jpg");obama_image = face_recognition.load_image_file("C:/rlsb/obama.jpg...
2018-05-25 16:30:24
2642
原创 基于Opencv自有模型识别人脸与人眼
#!/usr/bin/python# -*- coding: utf-8 -*-import cv2face_cascade = cv2.CascadeClassifier("D:/Open-cv/opencv/build/etc/haarcascades/haarcascade_frontalface_default.xml")eye_cascade = cv2.CascadeClass...
2018-05-25 16:24:25
2781
原创 Opencv中KNN背景分割器
背景分割器BackgroundSubtractor是专门用来视频分析的，会对视频中的每一帧进行“学习”，比较，计算阴影，排除检测图像的阴影区域，按照时间推移的方法提高运动分析的结果。而且BackgroundSubtractor不仅可以用于背景分割，而且还可以提高背景检测的效果。在opencv中有三种分割器：KNN，MOG2，GMG。通过mog2的实例代码：import numpy as np ...
2018-05-25 16:12:50
6488
原创 基于谷歌开源的TensorFlow Object Detection API视频物体识别系统搭建自己的应用（三）
基于上篇基于谷歌开源的TensorFlow Object Detection API视频物体识别系统搭建自己的应用（一），实现摄像头物体识别下载opencv的cv2包在Python官网即可下载opencv相关库，点击此处直接进入。 pip install opencv-python安装完成后，进入IDLE输入命令import cv2若未报错，则opencv-python库成功导入，环境搭配成功。基...
2018-05-25 15:47:04
3845
1
原创 基于谷歌开源的TensorFlow Object Detection API视频物体识别系统搭建自己的应用（二）
基于上篇基于谷歌开源的TensorFlow Object Detection API视频物体识别系统搭建自己的应用（一），实现视频物体识别基于上篇，新建VideoTest.py，并将一个视频文件放入到object_detection目录下主要步骤如下： 1.使用 VideoFileClip 函数从视频中抓取图片。 2.用fl_image函数将原图片替换为修改后的图片，用于传递物体识别的每张抓取图片...
2018-05-25 15:22:41
4531
原创 基于谷歌开源的TensorFlow Object Detection API视频物体识别系统搭建自己的应用（一）
基于上篇安装运行谷歌开源的TensorFlow Object Detection API视频物体识别系统，搭建自己的应用。替换官网提供的图片
2018-05-25 14:39:09
3797
原创 安装运行谷歌开源的TensorFlow Object Detection API视频物体识别系统
安装Python下载地址https://www.python.org/，建议安装Anaconda，下载地址https://www.anaconda.com/download/，官网最新版本为Anaconda3-5.1.0，选择对应的操作系统进行安装，笔者选用的版本为4.3.8。安装TensorFlow笔者用给pip方式安装安装CUP版的TensorFlow：pip install tensorfl...
2018-05-25 13:57:07
5849
1
原创 Spark MLlib机器学习（一）——决策树
决策树模型，适用于分类、回归。 简单地理解决策树呢，就是通过不断地设置新的条件标准对当前的数据进行划分，最后以实现把原始的杂乱的所有数据分类。就像下面这个图，如果输入是一大堆追求一个妹子的汉子，妹子内心里有个筛子，最后菇凉也就决定了和谁约（举栗而已哦，不代表什么～大家理解原理重要～～）训练数据：0,32 帅 收入中等 不是公务员1,25 帅 收入中等 是公务员0,25 帅 收入中等 不是公务员...
2018-05-18 15:19:23
2353
原创 Spark 计算人员三度关系
1、一度人脉：双方直接是好友 2、二度人脉：双方有一个以上共同的好友，这时朋友网可以计算出你们有几个共同的好友并且呈现数字给你。你们的关系是： 你->朋友->陌生人 3、三度人脉：即你朋友的朋友的朋友就是这个陌生人。你们的关系是 你->朋友->朋友->陌生人 4、四度人脉：比三度增加一度，你们的关系是，你->朋友->朋友->朋友->...
2018-05-17 13:09:22
5769
4
原创 Spark 计算人员二度关系
数据格式如下：A,BA,CA,EB,DE,DC,FF,G业务逻辑如下：1、转换操作flatMapToPair将行数据变为键值对，如A，B表示A和B认识，A可以通过B认识B的朋友，B通过A可以认识A的朋友，转化结果为｛A：A，B｝、｛B：B，A｝；2、转换操作groupByKey对键值对按Key进行分组，转化结果为：｛A，【A，B ，A，E ， A，C 】｝...；3、转成操作flatM...
2018-05-17 11:35:25
5165
原创 Hadoop MapReduce实现人员二度关系运算
求下图的二度人员关系：数据格式如下：A,BA,CA,EB,DE,DC,FF,G实现如下：package com.gm.hadoop.mapreduce;import java.io.IOException;import java.util.Vector;import org.apache.hadoop.conf.Configuration;import org.apache...
2018-05-17 11:11:18
2942
原创 neo4j图形数据库Java应用
效果CREATE(陈冠希:明星 {名称: "陈冠希"}),(王菲:明星 {名称: "王菲"}),(李亚鹏:明星 {名称: "李亚鹏"}),(瞿颖:明星 {名称: "瞿颖"}),(张柏芝:明星 {名称: "张柏芝"}),(谢霆锋:明星 {名称: "谢霆锋"}),(周迅:明星 {名称:
2018-05-09 16:27:16
3405
原创 Spark2.0基于广播变量broadcast实现实时数据按天统计
package com.gm.hive.SparkHive;import java.text.SimpleDateFormat;import java.util.Arrays;import java.util.Collection;import java.util.Date;import java.util.HashMap;import java.util.List;import...
2018-05-08 16:04:07
4806
原创 Sprak2.0 Streaming消费Kafka数据实时计算及运算结果保存数据库代码示例
package com.gm.hive.SparkHive;import java.util.Arrays;import java.util.Collection;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import org.ap...
2018-05-07 14:42:07
2972
原创 Spark2.0 Java实现将Hive运算结果保存到数据库
package com.gm.hive.SparkHive;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import org.apache.spark.sql.SaveMode;import org.apache.spark.sql.SparkSession;import java.util.P...
2018-05-07 11:35:30
4773
转载 sqoop使用中文手册
文章转载自：http://www.zihou.me/html/2014/01/28/9114.html1. 概述本文档主要对SQOOP的使用进行了说明，参考内容主要来自于Cloudera SQOOP的官方文档。为了用中文更清楚明白地描述各参数的使用含义，本文档几乎所有参数使用说明都经过了我的实际验证而得到。2. codegen将关系数据库表映射为一个java文件、java clas...
2018-05-07 09:08:02
2289
原创 linux 根目录扩容
之前搭建了一个CentOS(7.0, x64)的VM，一直没留意它的硬盘空间。昨天，系统突然弹出警示，说 根目录 空间不足了。 这样的话，就只能给它增加空间呗。我自己其实已经增加过硬盘空间了，但是为了写这篇博客，我再一次添加了10GB的硬盘在虚拟机关机的前提下，先通过VMware给虚拟机增加一些硬盘空间，如下图： 点击“扩展”之后，稍等一会，等待VMware处理完。 处理完了之后，VMware会提...
2018-05-05 13:36:32
2695
原创 Spark2.0集成Hive操作的相关配置与注意事项
前言已完成安装Apache Hive，具体安装步骤请参照，Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作补充说明Hive中metastore（元数据存储）的三种方式：内嵌Derby方式Local方式Remote方式[一]、内嵌Derby方式这个是Hive默认的启动模式，一般用于单元测试，这种存储方式有一个缺点：在同一时间只能有一个进程连接使用数据库。配置文件 hive...
2018-05-05 13:14:48
3551
原创 总结可用的大数据分析软件对应版本
apache-flume-1.8.0-bin、kafka_2.11-0.10.0.0、spark-2.0.0-bin-hadoop2.7hadoop-2.8.0、hbase-1.2.6、apache-hive-2.1.1-bin、zookeeper-3.4.10、sqoop-1.4.7.bin__hadoop-2.6.0apache-storm-1.1.0未完待续......
2018-05-04 11:19:40
2951
原创 Linux安装Sqoop及基础使用
下载Sqoop官网地址http://sqoop.apache.org/wget http://mirrors.hust.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz安装及配置解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz移动文件夹mv sqoop-1.4.7.bin__...
2018-05-04 11:15:10
3458
原创 Spark集成Kafka实时流计算Java案例
package com.test;import java.util.*;import org.apache.spark.SparkConf;import org.apache.spark.TaskContext;import org.apache.spark.api.java.*;import org.apache.spark.api.java.function.*;import o...
2018-05-03 16:39:15
4231
原创 Linux基于Hadoop2.8.0集群安装配置Hive2.1.1及基础操作
前言安装Apache Hive前提是要先安装hadoop集群，并且hive只需要在hadoop的namenode节点集群里安装即可，安装前需保证Hadoop已启（动文中用到了hadoop的hdfs命令）。关于如何安装Hadoop集群请参照：CentOS7搭建Hadoop2.8.0集群及基础操作与测试下载Apache Hadoop下载地址：http://hive.apache.org/downloa...
2018-05-03 16:31:46
2547
原创 CentOS7搭建Hadoop2.8.0集群及基础操作与测试
环境说明示例环境主机名IP角色系统版本数据目录Hadoop版本master192.168.174.200nameNodeCentOS Linux release 7.4.1708 (Core) 2.8.0slave1192.168.129.201dataNodeCentOS Linux release 7.4.1708 (Core)2.8.0准备工作JDK安装确认本机安装的JDK版本为1.7以上，...
2018-05-03 14:30:24
2834
跨年烟花代码pyhon基于pygame实现
2022-12-16
sqoop_3_1_4_0_315-1.4.7.3.1.4.0-315.noarch.rpm
2020-09-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人