自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(96)
  • 资源 (3)
  • 收藏
  • 关注

原创 一个计算机专业女孩的求学之路——七年之痒,痒之感悟

毕业将至,步入社会,几张文凭,几张纸,在此警醒自己,学历不是保命符原本,我应该在争分夺秒的总结着前段时间学习的内容,为的是,尽可能快的完成一个小项目,或许在我学习的过程中已经跟着教程完成过比较小的项目了,但对于我来说,这并不是我能写在简历上的东西。我不知道我是对自己要求过高,还是太不自信。求学多年,很多事情越来越疑惑。记得,上初中高中那会,家长们都说,学理,出来好找工作,导致我一度在心里把理科当作主科;文科当作副科,从不认真学习。还记得我初中数学也是能考满分的人,我一直相信,如果我随爸爸,一定是

2021-01-13 22:11:06 19244 339

原创 量化理解(Google量化白皮书《Quantizing deep convolutional networks for efficient inference: A whitepaper》)

一、什么是量化?为什么要量化?在深度神经网络模型应用中,量化是削减模型大小的一种常用方法。实际上就是把高位宽表示的权值和激活值用更低位宽来表示。为什么要削减模型,是因为硬件平台的自身性能不理想,如计算力低,内存、电量消耗等限制,导致模型推断速度慢、功耗高。 而定点运算指令比浮点运算指令在单位时间内能处理更多数据,同时,量化后的模型可以减少存储空间。当然,也可以将量化后的模型部署在高效的定制化计算平台上以达到更快的推断速度。二、有哪些量化方法?怎样量化?具体的量化方案有以下几种:1.Uniform A

2020-07-23 19:30:09 1250 3

原创 爬虫技术的伦理研讨

爬虫技术的伦理研讨本文根据几篇关于爬虫技术的报道针对以下三个问题进行说明1. 爬虫技术涉及到伦理问题有哪些?2. 作为一个IT技术人员,应怎么看待爬虫技术的使用?3. 提出自己对爬虫技术在伦理规则方面发展的几点看法。前两天还有人问我有没有做过python爬虫,说实话,虽然这个技术近几年很火热,但自身并没有过多的了解。该文只简单阐述爬虫技术的原理,让小白也能看懂爬虫技术到底是什么,以及该...

2020-04-09 21:35:18 1907 5

原创 如何看待无人驾驶技术产生的伦理道德问题

如何看待无人驾驶技术产生的伦理道德问题【值得了解】本文根据TED科技视频:无人驾驶会挑战哪些道德伦理、《自然》发表的自动驾驶伦理调查以及德国公布的首份自动驾驶伦理道德标准,结合自身所学来探讨如何规范无人驾驶产生的伦理道德问题。从无人驾驶技术这一概念出现在公众视线中,到近几年人工智能的火热,随着技术的进步,无人驾驶普及给人类的感受是近在眼前。先不说把实验室里的无人驾驶系统设备搬到汽车上是不是...

2020-04-01 19:50:48 4040 4

原创 浅谈短视频背后的社会道德伦理问题(个人观点,仅供参考)

浅谈短视频背后的科技伦理问题(个人观点,仅供参考)本文根据最近发布的一则新闻:《真实的现场:快手移动连麦技术在抗疫报道中的创新应用》和之前的一篇报道: 《算法不是三观不正的“遮羞布”:快手和今日头条因道德乱象被总局严惩》 针对以下四个问题进行个人观点的发表。一、视频推送软件的技术发展脉络二、 技术在发展过程中产生的科技伦理问题三、在快速的技术发展中,国家管控对科技伦理的规范作用四、如何在...

2020-03-04 19:31:04 3614 2

原创 Scala的传值调用与传名调用理解

通常 函数/方法 的参数是传值参数,也就是说,参数的值在传递给函数之前已经确定好了。而在Scala中,方法或函数的参数可以是一个表达式,也就是可以将一个代码逻辑传递给某个方法或着函数。(这有点像C语言)分别有两种调用方式:1.Scala的传值调用(call-by-value),参数是一个或多个类型的变量2.Scala的传名调用(call-by-name),参数传的是函数/方法名,即函数/方法(一段逻辑)二话不说,直接上一个代码(课程Demo)来说明:object CallByNam.

2021-01-16 13:53:24 46

原创 Scala基本语法

数据类型Scala的数据类型有 byte char short int long float double boolean 和unit其中unit类型是表示无值,和其他语言中的void相同。可以用作方法无返回值的结果类型,Unit只有一个实例值,写成()。Scala类的继承层级,Any类型等价于Java中的object类,基本类型都继承于Anyval,其他均属于AnyRef变量的定义定义变量使用var或者val关键字语法:var/val 变量名称=变量值 (不指定数据类型...

2021-01-15 19:55:54 93

原创 Scala简介与Scala的下载安装

scala 介绍Scala是一种多范式的编程语言——面向对象编程、函数式编程。Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序。特点:1.Scala的API更优雅,用户体验好2.Scala的语言表达能力强,一行代码抵多行Java代码,速度快3.能融合到Hadoop生态圈开发环境Scala SDK 的安装安装Scala SDK 前首先确保已安装jdk1.8+的版本(jdk安装看这里)1.Windows下安装Scala SDK访问Scala官网

2021-01-14 21:22:28 58

原创 HDFS的客户端操作及常用命令

HDFS的客户端形式1.网页形式——网页客户端可以查看HDFS文件系统上的文件2.命令行形式——hdfs客户端就是命令,可以进入Hadoop安装包的bin目录下,使用脚本Hadoop/hdfs来启动一个java客户端,进行hdfs的相关操作3.客户端在哪里运行没有约束,只要运行客户端的机器能够和hdfs集群联网——可以写一个Java程序作为客户端访问hdfs、可以在hdfs集群中任一台机器或非集群中的一台机器上启动一个客户端(只需更改core-site.xml文件,指定hdfs的namenode

2021-01-13 11:26:41 54

原创 Hadoop简述及HDFS集群搭建详解

目录什么是Hadoop?Hadoop中有3个核心组件HDFS的整体的运行机制hdfs集群组成结构hdfs有着文件系统共同的特征:hdfs跟普通单机文件系统的区别:hdfs的工作机制:搭建hdfs分布式集群安装hdfs集群的具体步骤设置linux服务器的基础软件环境安装hdfs集群什么是Hadoop?海量数据处理的一个技术(软件工具)Hadoop中有3个核心组件1.分布式文件系统(HDFS)——实现将文件分布式存储在很多服务器上,功能是管理文件,实际

2021-01-11 21:40:57 59

原创 大数据概述

大数据基本概念用新的技术进行海量数据处理简言之,大数据:1.有海量的数据2.有对海量数据进行挖掘的需求3.有对海量数据进行挖掘的软件工具(Hadoop、spark、storm、flink、tez、impala....)处理海量数据的核心技术分布式——海量数据存储、海量数据运算存储框架1.HDFS——分布式文件存储系统(Hadoop中的存储框架)补充:数据库系统就是在文件系统上封装一层2.HBase——分布式数据库系统3.KAFKA——分布式消息缓存系统(.

2021-01-11 16:55:34 70

原创 yarn快速理解

目录yarn的基本概念yarn的大体机制​​​​​​​yarn的安装​​​​​​​yarn的基本概念yarn是一个分布式程序的运行调度平台yarn中有两大核心角色:1.Resource Manager接受用户提交的分布式计算程序,并为其划分资源,管理、监控各个Node Manager上的资源情况,以便于均衡负载2.Node Manager管理它所在机器的运算资源(cpu + 内存),负责接受Resource Manager分配的任务,创建容器、回收资源yarn的大

2020-12-27 16:26:06 54 1

原创 zookeeper详解

先看一张hadoop的HA工作机制示意图可以看到zookeeper(基础组件)在HA的集群中,帮助管理日志系统,解决单点故障问题。zookeeper的基本功能和应用场景zookeeper的功能:1.可以为客户端管理少量数据(k,v)2.可以为客户端监听指定数据节点的状态并在数据节点发生变化时通知客户端。应用场景:服务器上下线的动态感知zookeeper的整体运行机制zookeeper的数据存储机制数据存储形式zookeeper中对用户的数据采用kv形式

2020-12-24 21:00:11 62 3

原创 hive的函数

目录表生成函数集合函数条件控制函数分析函数级联报表查询窗口分析函数hive 自定义函数json解析函数表生成函数集合函数--集合函数select sort_array(array('y','z','q'));size(Map<K,V>)--返回一个值map_keys(Map<K,V>)--返回一个数组map_values(Map<K,V>)--返回一个数组条件控制函数--条件控制函数(case when)-

2020-12-24 10:38:50 46

原创 hive统计每日的活跃用户和新用户sql开发(附shell脚本)

假如有一个web系统,每天生成以下日志文件:2020年12月21日数据192.228.33.6,hunter,2020-12-21 10:30:20,/a192.228.33.7,hunter,2020-12-21 10:30:26,/b192.228.33.6,jack,2020-12-21 10:30:27,/a192.228.33.8,tom,2020-12-21 10:30:28,/b192.228.33.9,rose,2020-12-21 10:30:30,/b192.228.3

2020-12-23 21:36:36 58

原创 linux主机模式(Host-Only)的网络配置

1.虚拟机网络设置配置虚拟机的网络设置为hostonly2.虚拟软件网络设置选择vmware - 编辑 –虚拟机网络编辑器3.配置虚拟软件中vmnet1的IP为VMnet1选择一个网段,不修改0号ip地址。4.查看win7 VMnet1网络此时,物理机上的vmware vmnet1网络已经改变这个IP地址其实是Windows的IP地址,该IP地址是用于与host-only网络连接方式的虚拟机进行通信的5.修改虚拟机的ip地址信息...

2020-12-23 09:42:37 88

原创 Vmware安装Centos教程(通用)

1 打开vmware虚拟机2 选择自定义安装3 选择稍后安装操作系统4 选择操作系统及版本5 命名虚拟机6 配置处理器和内存7 选择网络类型8 选择控制器类型和磁盘类型9 分配磁盘空间10 指定磁盘文件已创建完成,但还不能使用此时启动会失败,先去本地找iso镜像文件,本地没有去网络下载,下载实际做的是,发一个广播...

2020-12-22 22:03:30 58

原创 linux集群环境搭建

集群 :多台机器组成集群运行模式 单机模式 伪分布模式 hdfs 集群模式 :一个主节点,几个从节点 制作模板机:1.配置主机名 2.配置映射关系3.配置网卡4.关闭防火墙 5.删除 /etc/udev/rules.d/70-persistent-net.rules 6.远程连接快照(checkpoint):关机或开着都可拍摄快照,配置好的虚拟机可以压缩存储解压缩直接使用。克隆:必须关机,创建完整克隆,生成MAC(网络适配器——高级——生成)...

2020-12-22 21:48:51 41

原创 linux简介及安装使用

目录Linux介绍Linux应用领域Linux特点Linux目录结构Linux常用命令VIM文本编辑器、Linux权限管理Linux环境配置RPM和yum软件包管理VMwareVMware主要特点:minimal镜像安装Linux介绍Linux是一种自由和开放源码的操作系统,存在着许多不同的Linux发行版本(基于内核,增加了一些桌面,应用程序),都使用了Linux内核。Linux内核网站:www.kernel.orgLinux应用领域1.L...

2020-12-22 21:39:56 48

原创 hive查询的相关示例

hive基本查询--hive基本查询select * from a;select max(ip) from a;select count(*) from a;hive 条件查询--hive 条件查询select *from t_pv_logwhere access_time>'2020-11-26 15:31:33';关联查询1.内连接--1.内连接(笛卡尔积),右边字段依次和左边的连一遍select t_a.*,t_b.*from a t_a inner

2020-12-14 17:34:09 34 1

原创 快速上手Hive,安装到使用的流程介绍

hive(数据仓库):用来做数据(海量数据处理)统计、分析hive的功能解释web日志集群每天产生大量的log日志会被采集到HDFS文件系统上,文件内容都是一条条的记录,每条记录中包含很多字段,hive可以像mysql那样建表存储数据,不同的是hive可以把文件中每条记录的内容与表中的字段进行映射,并且hive有自己的mapreduce程序,可以用来统计计算。对于日志中内容的统计、分析,只需要在终端输入sql语句,hive会进行解析并组装一个MR job 提交到yarn上计算给出结果。使用.

2020-12-10 21:20:36 39

转载 mybatis查询不到中文数据

现象:直接运行SQL语句,可以查询到数据。但是通过mybatis执行,却拿不到数据。测试发现,如果查询字段的值为中文,mybatis拿不到数据。但是英文没有问题。可知是编码的问题。修改数据库链接,指定编码为UTF-8,问题解决。...

2020-10-20 14:26:59 60 4

原创 不仔细听课找错找到哭,解决could not  find “mybatis.xml“

昨天上手MyBatis第一个入门案例,按照视频教学,自己实现了下,结果漏洞百出。1.selectOne();挂红整个程序运行成功后删除也是可以的,不知道为什么。。。。2.mybatis测试程序报错:could not find "mybatis.xml"解决方法是:将该配置文件所在文件夹设置成源文件夹即可...

2020-10-20 13:14:18 53 1

原创 解决使用MyBatis查询某个字段结果为null

问题:在数据库中能查出某条记录mybatis查询结果: 有个字段的值始终为空。排错后发现:总结:一个比较低级的错误~~~

2020-10-20 11:31:32 37

原创 解决Exception in thread “main“ com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications

这个问题出现的原因是在数据库连接失败,从网上查了下,解决的方法五花八门,有改配置文件的,还有改代码的。但是每个人实质原因不同也会出现同样的错误。发了会呆,突然想明白,数据库连接不上,要么是url,要么是用户名或者密码。往后一翻,真正的原因找到了。。。出错代码:String url="jdbc:mysql://localhost:3306/jdbcstudy?useUnicode=true&characterEncoding=utf8&useSSL=true";Strin.

2020-10-18 21:12:30 84 3

原创 mysqldump命令

MySQL备份:用命令的方式导出库、表#导出-- mysqldump -h主机 -u用户名 -p密码 数据库 表名 >物理磁盘位置/文件名mysqldump -hlocalhost -uroot -p123456 school student >D:/student.sql-- mysqldump -h主机 -u用户名 -p密码 数据库 表1 表2 表3 >物理磁盘位置/文件名mysqldump -hlocalhost -uroot -p123456 school stud

2020-10-18 16:38:24 36 1

原创 MySql的详细安装说明

下载:https://dev.mysql.com/downloads/mysql/(下载5.7版本,较稳定)直接下载免安装压缩包(不要.exe)安装:下载完成后,右击解压到指定目录配置环境变量:右击我的电脑——属性新建mysql配置文件:[mysqld]basedir=D:\mysql\mysql-5.7.31-winx64\datadir=D:\mysql\mysql-5.7.31-winx64\data\port=3306skip-grant-t..

2020-10-15 13:35:43 52 2

原创 Linux桥接模式的网络配置

1.右击虚拟机2.win+r---cmd :查看物理机ip3.配置网卡4.重启 、测试修改完后保存退出,重启网络服务测试:在windows上ping Linux这种网络配置方式,在一个局域网下的另一台机器也可以访问这台主机。图解...

2020-10-12 17:26:29 86 2

原创 Linux权限管理

三种基本权限 r 读权限(read);w 写权限(write);x 执行权限 (execute)权限说明所有者 所属组 其他人第1位:文件类型(d 目录,- 普通文件,l 链接文件)类型:f 二进制文件 l 软连接文件 d 目录第2-4位:所属用户(所有者)权限,用u(user)表示第5-7位:所属组权限,用g(group)表示第8-10位:其他用户(其他人)权限,用o(other)表示第2-10位:表示所有的权限,用a(all)表示 字符 ...

2020-10-12 11:11:03 39

原创 rpm命令使用

rpm的常用参数i:安装应用程序vh:显示安装进度;U:升级软件包;qa: 显示所有已安装软件包e:卸载应用程序注意:如果其它软件包有依赖关系,卸载时会产生提示信息,可使用--nodeps强行卸载。查询所有安装的rpm包: rpm –qa查询mysql相关的包: # rpm –qa | grep mysql安装:rpm-ivh 包名卸载: rpm –e mysql*强行卸载:rpm –e mysql* --nodeps...

2020-10-12 10:54:08 29

原创 集群下各节点间文件拷贝命令scp

集群模式下,各节点之间如何方便的拷贝文件?命令格式:scp file 远程用户名@远程服务器IP:~/ (注意:冒号和目录之间不能有空格)~:到当前用户的宿主目录如果拷贝目录,需要加-r 选项。要使用root用户注:使用`pwd`或者$PWD 默认到当前目录。可以通过这种方式修改拷贝的文件名。...

2020-10-12 10:25:41 168

原创 ssh&&免密登录配置

在第一台机器上生成一对钥匙,公钥和私钥当前用户的宿主目录下的.ssh目录多了两个文件2.将公钥拷贝给要免密码登录的机器注意:主机名和ip都可以(确保配置了主机名 ip的映射)拷贝完成之后,会在要免密登录的机器上生成授权密码文件3.验证免密码登录注意:免密码登录是单向的(还需配置另一台机器)扩展:ssh免密登录原理:1.slave2 使用 ssh-keygen –t rsa 生成公钥和私钥2.ssh-copy-id root@slav...

2020-10-12 09:27:28 120

原创 Linux的jdk安装(配多图)

安装包下载下载jdk8上传安装包到服务器方法一:工具1.secureFXP输入用户密码 –确认选择二进制文件,保证文件的完整性2.mobaxterm方法二:命令(secureFXP)方法三:sftp(secureFXP)在secure 窗口下,按住alt + p 进入sftp模式直接把文件拉到sftp窗口下,即可完成文件的上传。相当于使用put –r 文件名 下载直接使用 get ...

2020-10-11 21:48:27 52 1

原创 yum管理常用命令及搭建本地yum源

YUM:(yellowdog updater modified)软件包管理工具应用yum的好处:1,自动解决软件包依赖关系2,方便软件包升级作用 命令 解释 查询 yum list 查询所有可用软件包列表 yum search 关键字 搜索服务器上所有和关键字相关的包 yum info 关键字 查找包名 yum repol...

2020-10-11 12:29:58 116 2

原创 视频分类数据集转图片分类数据集在vgg16上的分类效果

数据集处理最近在做的实验需要将视频分类数据集抽帧变成图片分类的数据集,然后放入已有模型进行训练和评估。该篇参考博文详细介绍了搭建视频分类模型的过程,但主要以处理数据集为主。所以我的实验借鉴了这篇博文对数据集处理的方法,但对个别内容有修改,并补充了一些理解。便于处理,只取了UCF101的前10个类别,主要为了测试视频抽帧处理成图片分类数据集的效果,暂不考虑其他因素。要点一:给每一个视频加标签大佬博客是按照视频类名划分出标签的,但实际也可以按照视频后面给出的数字划分,这样,后面就不用单独将.

2020-10-09 17:54:37 172 2

原创 多张图片转成一个.npy文件存储

我最近做的实验需要把都是图片的数据集转成numpy形式存储,然后放入模型训练。首先要有一个.csv文件,这个文件存放了训练集中所有图片的名字和所属类别,共两列,这个文件在下载某些数据集的时候会自带或者有处理好的让你下载,但也可以自己生成,可以看这里import pandas as pdimport cv2import numpy as np#读取存有图片名和对应类别名的.csv文件train = pd.read_csv('train_new.csv')#print(train)#创.

2020-10-09 15:32:39 298 2

原创 数据集的文字标签(label)转成数字标签

但愿有人能明白我标题的意思,因为自己在找相关解决办法的时候这样搜没有找到,所以写这篇博客记录下。问题:我要放入模型中的训练集和标签是这样的:标签集中共有1926个标签,10个类别,(类别前边的数字,代表的是对应的第几张图片)。然后,直接把他放进模型中训练,但是把标签数组转换成张量的过程中出现了类型不匹配问题Ytr = np.load('train1/'+'Ytr01.npy',allow_pickle=True)y_data = torch.from_numpy(Ytr).

2020-10-09 14:22:02 257

转载 视频中提取帧图片并保存(cv2.VideoCapture)

转自:JNingWei# coding=utf-8# 全局变量VIDEO_PATH = './1.avi' # 视频地址EXTRACT_FOLDER = './extract_folder' # 存放帧图片的位置EXTRACT_FREQUENCY = 100 # 帧提取频率def extract_frames(video_path, dst_folder, index): # 主操作 import cv2 video = cv2.VideoCapture().

2020-10-07 20:23:34 100

原创 【Java SE 代码回顾】——day07_交互层、业务层、DAO层的商品管理Demo

从底层开始写(也可以从交互层写)-----------------------------------------HashMap静态数据库-----------------------------------------package cn.tjpu.javase07.exam.diffcult;import java.util.HashMap;/** * 模拟数据库 * 建一个静态的HashMap用来存放商品数据 */public class ProductDataBase {

2020-10-02 12:23:21 140

原创 【Java SE 代码回顾】——day07_静态代码块

这个系列是对javaSE课程代码的回顾,所有Demo都是亲自动手实现的,并做了小小的change,为了方便自己理解和后期复习,代码里加了大量的注释。现对所有知识点的代码进行复习整理,进一步理解、完善代码,对注释进行补充。其中重要的知识点会单独说明,但主要以代码为主。说明:博客是对学习内容的巩固,很多注释是为了自己理解,所以不会很专业。---------------------------------------------------静态代码块-----------------------..

2020-09-30 20:06:13 64

猫狗训练集(全).rar

深度学习图像识别里最基本的应用,猫狗图像分类问题,这里面包含了四千张训练图片,一千张测试图片供大家模型训练时使用。

2020-04-02

数据结构ppt和习题

这份资料是我考研用的,专业课要考数据结构的可以使用,很基础,因为都是大学课程配套PPT和习题,有答案。这些内容对于各大高校的选择填空绰绰有余,大题只针对命题简单的学校。

2020-07-20

3-1软件工程过程及模型.pptx

软件开发过程中软件工程的相关内容,介绍了软件工程的生命周期,及具体内容,对软件开发的一些模型做了说明,对比了各自的优缺点。

2020-03-05

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除