开开心心

原创 Intellij IDEA tomcat 启动时 中文日志内容乱码

结合网上现有的资料，只需要修改配置文件中的下面几处(见下图)不需要修改apache-tomcat-8.5.50\conf\logging.properties中的内容修改好后重启就可以了...

原创 Pytorch(二) Tensor Tensor的创建

Tensor是什么张量，是标量、向量、矩阵的高维扩展 0维张量，标量 1维张量，向量 2维张量，矩阵 n维张量 Variable是torch.autograd中的数据类型，主要用于封装Tensor，进行自动求导 data: 被包装的Tensor grad: data的梯度 grad...

原创 maven 中 jar包自动下载失败，解决方法

下载对应的jar包，放到repository中对应的目录中该目录中只留下jar包与pom文件，其他删除问题解决

原创 Pytorch(一) Pytorch 的安装

安装步骤1.检查是否有合适的GPU, 若有安装Cuda与CuDNN2.下载pytorch安装文件，进行pytorch的安装检查电脑是否有合适的GPU在桌面上右击如果能找到NVIDA控制面板，则说明该电脑有GPU。控制面板如下，并通过查看系统信息获取支持的Cuda版本点击 帮助->点击 系统信息 弹出下面的对话框，在驱动程序版本那一栏就能看到该计算机使用的驱动版本。...

原创 Hadoop(五) HDFS 序列化 压缩 存储文件类型

目录Hadoop 序列化Hadoop序列化定义步骤示例Hadoop 压缩为什么要在Hadoop中引入压缩Hadoop 支持的压缩类别各种压缩方式详解Gzip压缩lzo压缩snappy压缩bzip2压缩压缩参数配置存储文件类型SequenceFileSequenceFile简介SequenceFile 文件的结构SequenceFi...

转载 Snappy安装

1. 功能说明使用snappy压缩来提升mapreduce和hbase的性能。其实就是用CPU换IO吞吐量和磁盘空间。配置并使用snappy有如下几点要求：首先需要hadoop集群的native库已经收到编译好，并且添加了对snappy的支持。编译hadoop源码之前安装了snappy并且编译时指定-Drequire.snappy参数。（我使用的版本是hadoop-2.5.0-cdh5....

转载 LZO的安装

hadoop-lzo的安装:----------------------1.本地库的安装 获取到安装包lzo-2.10.tar.gz 后 执行下列命令: tar -zxvf lzo-2.06.tar.gz -C /opt/tool/ cd /opt/tool/lzo-2.06/ ...

原创 Hadoop(四) MapReduce 原理

目录MapReduce的核心思想Hadoop MapReduceInputFormatTextInputFormatKeyValueTextInputFormatNLineInputFormat自定义InputFormatJob提交过程FileInputFormat切片大小的参数配置获取切片信息APIMapTask的个数Partitioner默...

原创 Hadoop(三) HDFS 使用

目录准备工作HDFS API的使用org.apache.hadoop.fs.FileSystemorg.apache.hadoop.fs.Pathorg.apache.hadoop.fs.FsStatusorg.apache.hadoop.fs.FileStatusorg.apache.hadoop.fs.FSDataInputStreamorg.apache.ha...

原创 Hadoop(二) HDFS 底层原理解析

目录HDFS概念HDFS优缺点优点缺点HDFS 架构/角色Client：客户端NameNode：master，它是一个主管、管理者DataNodeSecondary NameNodehdfs启动过程启动脚本分析HDFS启动过程--源码分析HDFS 文件块大小HDFS的元数据管理NameNode 元数据存储机制查看编辑日志hdfs...

原创 mysql 运算符，常用函数

mysql常用函数介绍参考：http://c.biancheng.net/mysql/function/目录MySQL 运算符数值型函数mysql字符串函数myslq日期和时间函数mysql聚合函数mysql流程控制函数MySQL 运算符算术运算符+ 加法- 减...

原创 mysql 基础操作

mysql是一种常用的数据库，基本使用见下参考：http://c.biancheng.net/mysql/库操作 1.创建 create database db2 charset utf8; 2.删除库 drop database db2; 3.使用(进入) use db2; 4.查看库 show databases; 查看数...

原创 java 数据表示，运算类型

在计算机的内部使用的是二进制来表示所有的数据，为了更好的理解二进制与表示的数据间的关系，介绍以下知识1.原码，反码，补码，进制间的转换2.常用运算符原码正数的原码是它的本身，负数的原码是对应的正数的原码的符号位设为1 反码正数的反码与原码一致，负数的反码是将符号位不变其他所有的位按位取反 ...

原创 python四 list tuple set dict(列表，元组，集合，字典)

目录list tuple set dict(列表，元组，集合，字典)列表(List)列表的创建列表索引，切片列表操作Python 元组字典：dict字典定义字典操作list tuple set dict(列表，元组，集合，字典)这四种容器要注意浅复制与深度复制问题如果容器内有二级元素存在，就存在浅复制与深度复制的问题列表(List)序列是Py...

原创 socket 编程

在基于tcp的通信中，有可能出现黏包现象，那么什么是黏包现象呢，什么原因导致了黏包现象的发现？1.连续发送数据时，本该分开接收的数据累积到一次接收了，分不清发送的是哪些消息2.连续接收数据时，前面接收的数据大小小于它本应该接收的数据大小，那么紧接着它的下一个接收会接收到上次没有接收完的消息 这就导致多个消息混在一起3.大发送多个小数据时，如果在网络延迟内，tcp的内部优化算法就会将多...

转载 计算机网络

转载于：https://www.cnblogs.com/Eva-J/articles/8066842.html计算机网络的发展及基础网络概念早期 ： 联机以太网 ： 局域网与交换机广域网互联网协议与osi模型为了使不同的设备间通信与管理计算机网络，提出了网络通信协议，协议按照功能不同分为osi七层或tcp/ip五层或tcp/ip四层每层运行常见物...

原创 深入理解贝叶斯模型

目录贝叶斯模型理论基础以文本分类为例注意问题贝叶斯模型理论基础条件概率公式，已知B发生时A发生的概率:贝叶斯公式：在分类场景下，对贝叶斯公式进行扩展：是第i个类别，为某样本的n个特征，对于给定的样本来说是一给定值那么 正比于 所以只要求得的最大值就可以判断出它的最大值假设各特征间独立，那么有为了方便计算对两边取对数有综上有以...

原创 数据仓库简介

什么是数据仓库 数据仓库是一种服务于某种特定目的的决策支持，解决多种数据源之间的相容问题，供数据查询分析的一种技术。什么要使用数据仓库 企业为了更好的对大量数据进行分析，就需要进行数据仓库的建立。企业建立数据仓库是为了服务某种特定的业务支持， 而不能为了建立数据仓库而建立数据仓库。数据仓库的定义 面向主题的：主题是一个抽象...

原创 线性回归

线性回归利用大量的样本数据，通过监督学习，学习到X到Y的映射f, 利用该映射关系对未知数据进行预测。因为y是连续的所以是回归线性回归的表达式假设函数 ：使用向量表示(X, 都是向量)： 损失函数： 利用损失函数来衡量，损失函数度量预测值和标准答案的偏差，不同的参数有不同的偏差， ...

原创 机器学习概览

什么是机器学习？ 机器学习是基于历史数据，从中学习和一种满足业务的模型，然后用这个模型去预测类似模型数据的事件。机器学习的应用场景 1.事物存在某种潜在规律 2.某些问题难以使用普通编程解决 3.有大量数据可以使用机器学习的分流程： 机器学习的算法分类按输出空间划分 1.分类问题 2...

原创 python 基础十八 configparser

configparser 模块用来读取配置文件的kv字段配置文件# 中括号“[ ]”内包含的为section。紧接着section 为类似于key-value 的options 的配置内容。[info]name="mfkcel"age=25sex="male"address="jiangsu china"...

原创 python 基础十七 模块

模块1.定义 用来从逻辑上组织python代码(实现一个功能)，本质就是.py结尾的python文件 模块名就是这个文件名包：本质就是一个目录(必须带有一个__init__.py文件)，用来从逻辑上组织模块 包内的文件需要导入到__init__.py中,这样在导入包时才有用, __init__.py的编写原则，如何编写__init__.py文件？__init__...

原创 python 基础十六 序列化

import pickleimport json#-------------------------------------------pickle模块-----------------------------------#存入变量, dumps(obj)返回存入的字节dic = {'age': 23, 'job': 'student'}byte_data = pickle.dump...

原创 python 基础十五 时间操作

原创 python 基础十四 sys 模块

原创 python 基础十三 OS 模块

原创 python五 文件操作

#文件的操作流程为 打开-->操作--->关闭 #file = open(filename, mode, encoding) # filename：file_name变量是一个包含了你要访问的文件路径的字符串值。# mode：access_mode决定了打开文件的模式：只读，写入，追加等。# 这个参数是非强制的，默认文件访问模式为只读(r)。#...

原创 python 基础十一 面向对象

python是支持面向对象编程的语言面向对象可以最大限度的支持代码的复用，封装代码，提高代码的可读性。class Dog(object): # 类变量，可以使用类名调用也可以使用实例名调用 # 使用实例名调用类变量时，若类变量与实例变量名同名时的处理情况是返回实例变量，变量的调用顺序：先搜索实例变量 -->再搜索类变量 # 作用: 存放所有实例共有的属性，用...

原创 python五 函数

函数在数学中函数就是完成了数字的某项变换，输入参数，它就可以输出一个结果。在编程中，函数同样也有类似的作用。它的作用也是为了完成某个功能，当有大量重复代码时，就可以使用函数来解决，当需要精简代码逻辑时也可以使用函数。定义函数# 函数的一般格式# 可变参数一定要在位置参数的后面# 如果可变参数有列表类型的可变参数*args, 还有字典类型的可变参数**args1 那么*a...

原创 python 基础三 python支持的运算

支持的运算

原创 python 基础二 基本的数据类型，字符串，字符编码

Python有五个标准的数据类型：Numbers（数字） int（整型） 在混合计算时，Python会把整型转换成为浮点数。 float（浮点型） complex（复数） bool(布尔类型) 不能参与数学运算String（字符串） List（列表...

原创 python 基础一 python的安装与基础语法

Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。Python由Guido van Rossum于1989年底发明，第一个公开发行版发行于1991年。像Perl语言一样, Python 源代码同样遵循 GPL(GNU General Public License)协议。python因为某种原因，导致在python3.x 与python2.x有较大区别，在使用时要特别注...

原创 python -- jupyter Notebook 的使用

在安装好anaconda后，也附带的安装好了Jupyter Notebook,可以在开始栏里看到.通过点击启动栏里的Jupyter Notebook或在命令行里输入 jupyter notebook就可以启动 Jupyter Notebook了。启动成功后的界面如下：点击右上角的New 即可新建一个新的文档：绿色框内的行就是当前的操作行在里面可以输入对应文档所定语...

原创 Hadoop(一) 简介 集群搭建

目录Hadoop简介1.1Hadoop产生的背景1.2 Hadoop的优势1.3 Hadoop组成1.4 大数据技术生态体系图Hadoop集群安装linux的集群配置: 参照linux集群的配置安装相应的软件hadoop集群的配置修改以下配置文件ssh免密登陆的设置拷贝hadoop的配置文件到其他结点格式化namenodeHadoop简...

原创 linux集群的配置

1.软件及工具准备 a.虚拟机 vmware b.centos镜像文件CentOS-7-x86_64-Minimal-1804.iso c.jdkjdk-8u181-linux-x64.tar.gz d.hadoop-2.7.3.tar.gz e.securcrt #shell客户端2. linux集群的配置 a.安装好vm...

原创 jdbc 连接重要的参数设置

jdbc:mysql://[host:port],[host:port].../[database][?参数名1][=参数值1][&参数名2][=参数值2]...参数名称 参数说明 缺省值 最低版本要求 user 数据库用户名，用于连接数据库 所有版本 password 用户密码（用于连接数据库） 所有版本 ...

转载 java 常见编码格式

java 常见编码格式(转)简介　　编码问题一直困扰着开发人员，尤其在 Java 中更加明显，因为 Java 是跨平台语言，不同平台之间编码之间的切换较多。本文将向你详细介绍 Java 中编码问题出现的根本原因，你将了解到：Java 中经常遇到的几种编码格式的区别；Java 中经常需要编码的场景；出现中文问题的原因分析；在开发 Java web 程序时可能会存在编码的几个地方，一个 HTTP 请求...

原创 java 简介，环境配置，基础数据类型

1.java开发环境配置 jdk安装，在官网上找到对应系统的jdk版本并下载，然后按照提示安装好即可。在jdk安装好后需要进行环境变量的配置 一般配置这几个就可以了 JAVA_HOME: java的安装目录 path:把当前jdk的bin加入到这个环境变量内每个环境变量用英文环境下的;隔开，这个环境变量是当我们在任意路径执行 jav...

原创 java 反射

Class类是用于在jvm中表示一个类的类型信息，一个类在jvm中只会产生一个对应的Class对象。类的加载与实例化//java 类在编译后会产生一个以.class结尾的字节码文件//该文件内存储了Class对象的相关信息，Class对象表示的是类在运行时的类型信息//Class与java.lang.reflect构成了java的反射技术//当我们要使用类时，例如使用new 操...

原创 notepad++ 下运行 java

1.确保jdk环境与notepad++已安装好2.在notepad++下安装插件 NppExec   步骤如下: Notepad++的菜单栏：插件->Plugin Manager->Show Plugin Manager，Available中勾选NppExec，                  点击   Install按钮3. 按F6或者 菜单栏：插件->NppExec-&gt...