szj_jojo-CSDN博客

转载 pandas读取csv文件

Python中有许多方便的库可以用来进行数据处理，尤其是Numpy和Pandas,再搭配matplot画图专用模块，功能十分强大。CSV（Comma-Separated Values）格式的文件是指以纯文本形式存储的表格数据，这意味着不能简单的使用Excel表格工具进行处理，而且Excel表格处理的数据量十分有限，而使用Pandas来处理数据量巨大的CSV文件就容易的多了。我用到的是自己用其他硬件工

2018-01-21 14:58:09 2683 1

转载 pandas哑变量

离散特征的编码分为两种情况：1、离散特征的取值之间没有大小的意义，比如color：[red,blue],那么就使用one-hot编码2、离散特征的取值有大小的意义，比如size:[X,XL,XXL],那么就使用数值的映射{X:1,XL:2,XXL:3}使用pandas可以很方便的对离散型特征进行one-hot编码[python] view plain copy import pandas

2018-01-21 14:28:27 5906

原创环境变量基本知识

环境变量基本知识1.shell变量可分为两类：环境变量（全局变量）和普通变量（局部变量）2.环境变量一般用export导出变量名称3.环境变量名均采用大写形式4.set输出环境变量+普通变量；env输出环境变量；declare输出所有变量，函数，整数和已经导出的变量 env | tail 默认输出最后十行环境变量5.设置环境变量 export 或者 declare -x export NAME

2018-01-04 11:14:00 471

原创 shell

第一个shell脚本ifconfig > test.txt 将IP信息重定向到test.txt文件中>重定向，并覆盖原内容>>重定向，追加内容注意：1.路径中没有空格 2.if [ “$UID” -ne “$ROOT_UID” ]中括号左右有空格,-ne表示不等于 3.重定向中没有空格#！/bin/bashLOG_DIR=/var/logROOT_UID=0if [ "$UID" -

2018-01-02 21:14:39 258

转载 transfer learning

台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。这篇文章是学习本课程第19-21课所做的笔记和自己的理解。Lecture 19: Transfer Learning 迁移学习要解决的问题是：假设现在手上有与task不直接相关的data，这些data能否帮助我们完成task呢？比如现在要做猫狗的分

2017-10-07 20:32:16 950

转载深度学习常用优化方法

深度解读最流行的优化算法：梯度下降【本文转载自机器之心翻译：沈泽江原文地址：http://www.jiqizhixin.com/article/1857】梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练

2017-10-07 10:36:29 3443

转载 optimizers总结

最近在看Google的Deep Learning一书，看到优化方法那一部分，正巧之前用tensorflow也是对那些优化方法一知半解的，所以看完后就整理了下放上来，主要是一阶的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的Ad

2017-10-07 10:28:31 436

原创 CSDN如何转载文章

Chrome浏览器打开要转载的文章右键鼠标，选择检查ctrl+F 找到article_content并选中右键选择copy—> copy element最后复制到你的文章中去环境：opencv2.4,matplotlib2.02OpenCV支持的目标检测的方法是利用样本的Haar特征进行的分类器训练，得到的级联分类器（Cascade Classification）#

2017-10-06 21:17:45 242

转载 Batch Normalization

Batch Normalization 学习笔记原文地址：http://blog.csdn.net/hjimce/article/details/50866313作者：hjimce一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing

2017-10-06 21:02:08 232

原创 data augmentation and dropout

在深度学习方法中，更多的训练数据，意味着可以用更深的网络，训练出更好的模型。方法：（1）将原始图片旋转一个小角度（2）添加随机噪声（3）一些有弹性的畸变（elastic distortions）（4）截取（crop）原始图片的一部分。Dropout则是通过修改神经网络本身来实现的，它是在训练网络时用的一种技巧（trike）。它的流程如下假设我们要训练上图这个网络，在训练开始时，我们随机地“删

2017-10-06 20:25:10 458

原创 Regularization

正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work我们常常将原始数据集分为三部分：training data、val

2017-10-06 20:15:02 966

转载 RCNN+fast RCNN+faster RCNN

图像检测：图像识别+定位识别：定位：重叠度（IOU）: 物体检测需要定位出物体的bounding box，对于bounding box的定位精度，有一个很重要的概念：因为我们算法不可能百分百跟人工标注的数据完全匹配，因此就存在一个定位精度评价公式：IOU。它定义了两个bounding box的重叠度，如下图所示构建模型加速网络： Region Proposalselective se

2017-10-04 16:17:03 541

原创 Selective Search

目标检测的第一步是要做区域提名（Region Proposal），也就是找出可能的感兴趣区域（Region Of Interest, ROI）。区域提名可能的方法有：一、滑动窗口。滑动窗口本质上就是穷举法，利用不同的尺度和长宽比把所有可能的大大小小的块都穷举出来，然后送去识别，识别出来概率大的就留下来。很明显，这样的方法复杂度太高，产生了很多的冗余候选区域，在现实当中不可行。二、规则块。在穷举法的基

2017-10-04 13:53:10 1697

原创 TensorFlow Object Detection API

安装jupyter notebookpython -m pip install –upgrade –force pip pip install setuptools==33.1.1 sudo pip install jupyter 以管理员身份打开 jupyter notebook –allow-root安装相应的依赖环境Protobuf 2.6 ，Pillow 1.0 ，lxml ，Mat

2017-10-02 10:54:33 1561

原创算法题/栈的压入，弹出序列

输入两个整数序列，第一个序列表示栈的压入顺序，请判断第二个序列是否为该栈的弹出顺序。假设压入栈的所有数字均不相等。例如序列1,2,3,4,5是某栈的压入顺序，序列4，5,3,2,1是该压栈序列对应的一个弹出序列，但4,3,5,1,2就不可能是该压栈序列的弹出序列。（注意：这两个序列的长度是相等的）思路： pushv:[1,2,3,4,5] popv:[4,5,3,2,1] temp：用来存放p

2017-09-25 10:36:01 260

原创算法题/二叉树的镜像

题目描述操作给定的二叉树，将其变换为源二叉树的镜像。输入描述: 二叉树的镜像定义：源二叉树 8 / \ 6 10 / \ / \ 5 7 9 11 镜像二叉树 8 / \ 10

2017-09-25 09:28:47 297

原创算法题/数的子结构

输入两棵二叉树A，B，判断B是不是A的子结构。（ps：我们约定空树不是任意一个树的子结构）这里要注意的是，题目是判断子结构，而不是判断子树（当然子树也是子结构，但不是所有的子结构都是子树），因此，首先要做的判断应该是从A，B两棵树的根节点开始，这里利用递归的思想（若一对节点相等，则递归的判断这对节点的左右子树是不是分别相等，若一直相等，则总会先遍历完一棵树，若这棵树为B，则B为A的子结构成立，若为A

2017-09-21 19:26:43 281

原创算法题/反转链表

输入一个链表，反转链表后，输出链表的所有元素。思路：定义三个指针 node1指针指向原链表中第一个结点，且作为最后一个结点 node2指针.next指向node1结点 temp指针指向node2结点的下一个结点#coding:utf-8class LiseNode: def __init__(self,x): self.val = x self.nex

2017-09-21 15:54:54 215

原创算法题/链表中倒数第K个结点

输入一个链表，输出该链表中倒数第k个结点两个指针，先让第一个指针和第二个指针都指向头结点，然后再让第一个指正走(k-1)步，到达第k个节点。然后两个指针同时往后移动，当第一个结点到达末尾的时候，第二个结点所在位置就是倒数第k个节点了。#coding:utf-8class ListNode: def __init__(self,x): self.val = x

2017-09-21 10:15:03 237

原创算法题/矩形覆盖

我们可以用2*1的小矩形横着或者竖着去覆盖更大的矩形。请问用n个2*1的小矩形无重叠地覆盖一个2*n的大矩形，总共有多少种方法？有以下几种情形： 1⃣️target <= 0 大矩形为<= 2*0,直接return 1； 2⃣️target = 1大矩形为2*1，只有一种摆放方法，return1； 3⃣️target = 2 大矩形为2*2，有两种摆放方法，return2； 4⃣️targe

2017-09-20 20:21:30 438

原创算法题/重建二叉树

输入某二叉树的前序遍历和中序遍历的结果，请重建出该二叉树。假设输入的前序遍历和中序遍历的结果中都不含重复的数字。例如输入前序遍历序列{1,2,4,7,3,5,6,8}和中序遍历序列{4,7,2,1,5,3,8,6}，则重建二叉树并返回。#coding:utf-8class TreeNode: def __init__(self, x): self.val = x

2017-09-20 19:27:56 192

原创算法题/从头到尾打印链表

输入一个链表，从尾到头打印链表每个节点的值#coding:utf-8class ListNode: def __init__(self, x): self.val = x self.next = Noneclass Solution: # 返回从尾部到头部的列表值序列，例如[1,2,3] def printListFromTailToHead(

2017-09-20 18:58:40 301

原创算法题/字符串碎片

一个由小写字母组成的字符串可以看成一些同一字母的最大碎片组成的。例如,”aaabbaaac”是由下面碎片组成的:’aaa’,’bb’,’c’。牛牛现在给定一个字符串,请你帮助计算这个字符串的所有碎片的平均长度是多少。输入描述:输入包括一个字符串s,字符串s的长度length(1 ≤ length ≤ 50),s只含小写字母(‘a’-‘z’)输出描述:输出一个整数,表示所有碎片的平均长度,四舍五入保留

2017-09-14 13:40:18 1302

原创算法题/相反数

为了得到一个数的”相反数”,我们将这个数的数字顺序颠倒,然后再加上原先的数得到”相反数”。例如,为了得到1325的”相反数”,首先我们将该数的数字顺序颠倒,我们得到5231,之后再加上原先的数,我们得到5231+1325=6556.如果颠倒之后的数字有前缀零,前缀零将会被忽略。例如n = 100, 颠倒之后是1. 输入描述:输入包括一个整数n,(1 ≤ n ≤ 10^5)输出描述:输出一个整数,

2017-09-14 13:02:11 876

原创算法题/魔法币

小易准备去魔法王国采购魔法神器,购买魔法神器需要使用魔法币,但是小易现在一枚魔法币都没有,但是小易有两台魔法机器可以通过投入x(x可以为0)个魔法币产生更多的魔法币。魔法机器1:如果投入x个魔法币,魔法机器会将其变为2x+1个魔法币魔法机器2:如果投入x个魔法币,魔法机器会将其变为2x+2个魔法币小易采购魔法神器总共需要n个魔法币,所以小易只能通过两台魔法机器产生恰好n个魔法币,小易需要

2017-09-14 12:34:46 1936

转载 TCP/UDP/HTTP攻击

TCP提供一种面向连接的、可靠的字节流服务在一个TCP连接中，仅有两方进行彼此通信。 TCP使用校验和，确认和重传机制来保证可靠传输 TCP使用滑动窗口机制来实现流量控制，通过动态改变窗口的大小进行拥塞控制所谓三次握手(Three-way Handshake)，是指建立一个 TCP 连接时，需要客户端和服务器总共发送3个包。三次握手的目的是连接服务器指定端口，建立 TCP 连接，并同步连接双

2017-09-04 15:50:17 1345

原创 mysql数据库基本操作（三）

创建两个表：student和teacher 内连接：student和teacher表中相同的记录会显示 select u.id,u.name,u.class_name p.name from student as u inner join teacher as p on u.class_name = p.class_name; 左连接：student表中被查询的字段会被全部显示出来，而tea

2017-08-31 16:14:30 320

原创 mysql数据库基本操作（二）

清空数据表：truncate table copy_information; 显示部分信息：select id,name,age from information; 按条件查询：select * from information where age>25; 改变属性名称：alter table information change brithday birthday;（属性类型一定要加上！！

2017-08-31 15:18:48 294

原创 mysql数据库基本操作（一）

创建数据库：create database test; 查看数据库：show databases; 使用数据库：use test; 查看当前使用的数据库：select database(); 删除数据库：drop database test;(慎用！！！！！！！！！！！！！！)创建表:create table people(id int primary key auto_increm

2017-08-31 10:28:53 249

原创 ubuntu安装mysql数据库

ubuntu14.041安装mysql sudo apt-get install mysql-server mysql-client 安装过程中询问是否为mysql数据库设置密码，设置为root 2.检查MySQL服务器占用端口 netstat -nlt|grep 3306 3.检查MySQL服务器系统进程 ps -aux|grep mysql 4.进入mysql数据库，查看字符编码（防止

2017-08-30 19:44:54 480

原创算法题/替换空格

题目：请实现一个函数，把字符串中的每个空格替换成”%20”，例如“We are happy.”，则输出“We%20are%20happy.”。思路：最简单的方法，判断是不是空格，如果是就替换，时间复杂度O(n^2)(后续改进)#coding:utf-8def tihuan_kongge(s): str_arr = map(lambda x:x if x != " " else '%20

2017-08-30 11:21:39 315

原创算法题/数值的整数次方

python3题目描述：给定一个double类型的浮点数base和int类型的整数exponent。求base的exponent次方。#coding:utf-8def Power(base,n): result = 1.0 if n == 0: return 1 elif n == 1: return base elif n <

2017-08-30 10:44:28 254

原创算法题/顺时针打印矩阵

python2.7对于一个矩阵，请设计一个算法从左上角(mat[0][0])开始，顺时针打印矩阵元素。给定int矩阵mat,以及它的维数nxm，请返回一个数组，数组中的元素为矩阵元素的顺时针输出。分析： zip()是Python的一个内建函数，它接受一系列可迭代的对象作为参数，将对象中对应的元素打包成一个个tuple（元组），然后返回由这些tuples组成的list（列表）。若传入参数的长度不

2017-08-30 09:28:55 805

原创算法题/数组中出现次数超过一半的数字

python2.7数组中出现次数超过一半的数字题目：数组中有一个数字出现的次数超过数组长度的一半，请找出这个数字例子说明：如输入一个长度为 9 的数组｛ 1, 2, 3, 2, 2, 2, 5, 4, 2｝。由于数字 2 在数组中出现了 5 次，超过数组长度的一半，因此输出 2 。思路：利用set,统计不同数字出现的次数#coding:utf-8def half_num(a): mid

2017-08-29 19:37:26 551

原创算法题/最小的k个数

python2.7最小的 k 个数例子说明：例如输入 4 、5 、1、6、2、7、3 、8 这 8 个数字，则最小的 4 个数字是 1 、2、3 、4#coding:utf-8def kuaisu(a): low = [] high = [] middle = [] if len(a) < 1: return a else:

2017-08-29 19:03:05 253

原创算法题/第一个只出现一次的字符

python2.7在一个字符串(1<=字符串长度<=10000，全部由字母组成)中找到第一个只出现一次的字符,并返回它思路：用set统计不同字符，并计算不同字符出现的次数，如果某个字符出现次数是1，就返回。#coding:utf-8def first_appear(s): arr = list(s) set_arr = list(set(arr)) for i in set

2017-08-29 15:50:55 258

原创算法题/求数组的逆序对

python2.7在数组中的两个数字如果前面一个数字大于后面的数字，则这两个数字组成一个逆序对。给你一个数组，求出这个数组中逆序对的总数。概括：如果a[i] > a[j] 且 i < j， a[i] 和 a[j] 构成一个逆序对。样例序列 [2, 4, 1, 3, 5] 中，有 3 个逆序对 (2, 1), (4, 1), (4, 3)，则返回 3 。思路：最简单的想法，扫描整个数组

2017-08-29 15:03:55 484

原创算法题/数字在排序数组中出现的次数

python2.7例如输入排序数组｛ 1, 2, 3, 3, 3, 3, 4, 5｝和数字 3 ，由于 3 在这个数组中出现了 4 次，因此输出 4 。#coding:utf-8#方法一def count_num(a,k): if len(a) == 0: return 0 else: return a.count(k)#方法二def count

2017-08-29 14:21:47 223

原创算法题/和为s的连续正数序列

python2.7小明很喜欢数学,有一天他在做数学作业时,要求计算出9~16的和,他马上就写出了正确答案是100。但是他并不满足于此,他在想究竟有多少种连续的正数序列的和为100(至少包括两个数)。没多久,他就得到另一组连续正数和为100的序列:18,19,20,21,22。现在把问题交给你,你能不能也很快的找出所有和为S的连续正数序列? Good Luck! 思路：定义两个指针small=1,

2017-08-29 14:01:37 259

原创算法题/和为s的两个数字

python2.7题目：输入一个乱序的数组和一个数字S，在数组中查找两个数，是的他们的和正好是S，如果有多对数字的和等于S，输出两个数。思路： 1.输入的是乱序数组，先对数组从小到大排序 2.small指向最小值，big指向最大值,sum=small+big 3，如果sum大于s说明big太大，将big指针左移一位，如果sum小于s说明small太小,将small指针右移一位，知道smal

2017-08-29 10:17:48 343

jquery-3.0

numpy1.9.0

空空如也