2018年11月_IT_NEU_Lee

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

转载内存管理和垃圾回收机制

垃圾回收机制是每个公司进行技术面试必问的问题之一，掌握垃圾回收机制至关重要，下面是某篇博客中的内容感觉不错，单独拉出来作为保存，请大家关注原链接： https://blog.csdn.net/rabbit_in_android/article/details/50386954 内存管理和垃圾回收JVM内存组成结构JVM栈由堆、栈、本地方法栈、方法区等部分组成，结构图如下所示：...

2018-11-30 15:06:46 224

原创 spark子框架汇总

SQL 实时数据流处理机器学习图计算 4大子框架1图计算GraphX,下面是一栈式解决GraphX和GraphLab的对比相比之下虽然GraphX没有GraphLab快但一栈式解决让整体更好图存储模式：巨型图的存储有边分割（每个顶点都存储一次，但边可能被分到不同的机器，如果基于边的计算，那么跨机器通信变大）和点分割（边只存储一次） 2实时流处理框架spark ...

2018-11-30 11:10:21 642

原创深度学习用于文本和序列

文本可以理解为单词序列或字符序列处理序列数据大的两种深度学习算法 1 循环神经网络（recurrent neural network）2 一维卷积神经网络算法的应用：神经网络不接受原始文本，和接受处理的数值张量，即文本向量化：1 文本分割为单词 2 文本分割为字符 3 提取单词或者字符的n-gram（多个连续的单词或字符的集合）,然后将每个n-gram转换为一个向...

2018-11-29 17:02:22 642 2

原创深度学习用于计算机视觉

密集连接层（精度97.8%）------>卷积神经网络（99.3%）两者的区别在于：Dense层从特征空间学到的是全局模式，而卷积层学到时是局部模式1 卷积神经网络学到的模式具有平移不变性（视觉世界根本上来说就具有平移不变性），即在图像右下角学到某个模式后可以在任何地方识别这个模式。对于密集连接网络来说如果出现在新的位置，它只能重新学习这个模式。2 卷积神经网络可以学到模式...

2018-11-29 10:30:31 398

原创 python生成器

a=[x*2 for x in range(10)] 生成一整个列表a=(x*2 for x in range(10)) 生成一个生成器使用next 可以取出相关生成的数据这样占据的内存空间更少 def createNum(): for i in range(5): temp=yield b //执行到这里会程序暂停 ...

2018-11-29 08:46:59 175

原创机器学习通用流程

1定义问题，收集数据2选择衡量成功的指标精度？召回率？3确定评估方法（留出验证集，K折，重复K折）4准备数据（数据处理，特征工程）5开发比基准更好而模型6扩大模型规模：开发过拟合的模型（理想的模型是刚好在欠拟合和过拟合的边界上，为了找到这个边界，你必须穿过它----添加更多的层，让每一层变得更大，训练更多的轮次都可以加速过拟合）7模型正则化与调节超参数 ...

2018-11-28 17:10:45 267

原创 spark的RDD

spark的RDD是一个分布式对象集合，每个RDD可以分为多个片（partitions）。分片可以在集群环境的不同节点上计算。创建RDD的两种方式：加载外部数据集或者在驱动程序中部署对象集合。1通过加载一个文本文件作为RDD2 现有的内存集合把他传递给SparkContext的并行化方法。在shell中快速创建RDD 我们知道，RDD有两种操作转换和动作，RDDs在...

2018-11-28 10:17:55 172

原创 spark基础理论学习

SparkContext负责与ClusterManager通信，进行资源的申请任务的分配和监控 Worker:集群中任何可以运行appliction代码的节点，类似于yarn中的nodemanager。共享变量：在spark application 运行时，可能需要共享一些变量，提供给task或者driver使用。1可以缓存到各个节点的广播变量 2 只支持加法操作的可以实现求和的累加...

2018-11-28 09:38:07 189

原创 python的动态添加属性和方法

import types 如果一个类已经写好要想动态的添加一新的方法那么需要用下面方法：p1.eat = types.MethodType(eat,p1) //即把eat函数动态绑定到了p1对象上p1.eat()即可调用 @staticmethoddef test(): xxxxPerson.test=test 动态添加一个静态方法给...

2018-11-28 08:27:59 223

原创深度学习正则化

以前总是不了解什么是正则化今天看书算是有点体会根据阿卡姆剃刀原理，如果一件事情有两种解释，那么相对简单的那个解释更可能是正确的解释，即假设更少的那个。这个原理用在神经网络中，给定一些训练数据和一种网络架构，很多组权重值（即很多种模型）都可以解释这些数据，简单的模型比复的模型更不容易过拟合。这里简单模型指的是参数值分布的熵更小的模型，或者参数更少的模型。如果强制让模型权...

2018-11-27 23:02:41 235

原创 python作用域

作用于搜索方位 LEGB(局部-->闭包--->全局--->内建)

2018-11-13 20:53:30 140

原创异常检测Mulcross数据集生成

http://lib.stat.cmu.edu/jasasoftware/rocke 通过这个可以生成生成的数据集可以到我的CSDN博客下载

2018-11-11 15:30:59 1614 1

原创 Python迭代器闭包装饰器

迭代器:可迭代对象:生成器(range)是Iterator 而list tuple dict set str是Iterable 把他们转换成Iterator可以用iter()函数可以用for进行循环取到可以用next()进行取值使用isinstance("xxx",Iterable) 判断xxx是否是可以迭代闭包:def test(...

2018-11-09 11:07:09 205

原创 Python列表生成,集合,模块路径问题,==和is,深浅拷贝,私有化,property的使用

列表生成式: range(3) --->[0,1,2] b=[i for i in range(10) if i%2==0] 只有在range(10)中且i%2==0 才能给了前面的i 集合set {11,22,33} 和字典类似都用大括号但里面不是键值对且元素不重复a=[11,22,33,11,22] b=set(...

2018-11-08 10:15:37 193

原创 Python模块

先来一个简单的表面理解 import random random即为模块 random.py文件就是调用的对象如果一个模块调用了其他模块解释器会先把其他模块拿来编译成pyc文件放入缓存(其他模块的字节码,可以到时候直接拿来用,而省略编译过程) from sendmsg import test1 从sendmsg模块中导入test1方法如果from sendms...

2018-11-07 22:55:58 193

原创 if的真假判断

if "" None 0 [] {} 都代表条件为假数字0表示假非0表示真(-1,1.34等)

2018-11-07 14:03:05 1308

原创 python 异常处理

try: 可能的异常代码 try: #try可以嵌套处理 xxx except: xxx finally: 捕获了异常后或者没有捕获到异常都需要执行 except Exception as result: #Exception是所有异常的总称 if xxx: 处理异常 ...

2018-11-07 11:33:39 173

原创 python new 和单例

def __new__(cls): 默认用来进行创建对象 dog=Dog() 此时 1先创建对象,即调用__new__方法 2调用__init__方法初始化 3把创建对象的引用给了dog 所以 Java中的构造方法是两个方法的集合既创建对象又初始化单例(只有一个对象)class Dog(object): __instance=None ...

2018-11-07 10:14:39 269

原创 Python工厂模式

class CarStore(object): def __init__(self): self.factory=Factory() def order(self,car_type): return self.factory.select_car_by_type(car_type)class Factory(object): def s...

2018-11-07 09:39:17 1218

原创 Python对象类

class Cat: def eat(self): print("chiyu") def drink(self): print("heshui")tom=Cat()tom.name="Tom"tom.age=10 #可以直接添加属性 class Cat: num=0 #类属性和所有的对象共享同一个属性使用的时...

2018-11-07 09:00:14 246

原创 Python文件

文件操作打开----使用----关闭三步1 f=open("test.txt","w") #只可以写 r 只读 a打开一个文件并追加 r+可用于读写2 f.read() 全读出来 f.read(1) 每次执行都读取一个字节 f.write("lallala") f.readline()每次读取一行 f.readlines()读了多次readl...

2018-11-06 16:12:45 178

原创 python a+= b和a=a+b什么时候不同呢

a=[100]def test(num): num=num+num print(num)test(a)print(a)此时输出num=[100,100] a=[100] 此时num=num+num 过程是先用[100]+[100]形成了一个临时列表[100,100]然后赋值给num ,前提是num指向的a为可修改变量,然后才可以直接修改a的内容 ...

2018-11-06 15:08:08 395

原创 python函数

函数返回多个return return a,b,c即可本质是封装成为了一个元组(a,b,c)然后返回全局变量wendu=0def get_wendu(): global wendu #加上global后可以使用全局变量,不加则调用的局部 wendu=33 #字典,列表作为全局变量时候可以不用加global而直接修改全局变量...

2018-11-04 23:18:14 310

原创 python列表字典元组

列表: names=["老王","老李","老刘",10,2,3.14,"老王"] 可以同时存储不相同的类型 ,可重复.append("老赵") 添加到列表末尾,如果添加列表则把他视为一个整体添加进入 .insert(2,"悟空") 添加到第三个位置两个列表相加 names+names2 names.extends(name2) names.pop()

2018-11-04 16:27:19 189

原创 python的字符串join split

a=["aaa",'bbb","ccc"]b=" "b.join(a) ----->'aaa bbb ccc'变成了一个字符串中间是空格隔开 test="aa ks jd \t fjaj \t jsdi fi ais d fasfda"test.split(" ")如果中间是空格那么只会去掉字符串中的空格 \t不

2018-11-04 15:29:54 164

转载偏差方差平衡理论(bias-variance trade-off theory)

在训练与测试一个模型时，我们通常使用三个数据集，即训练集、开发集、测试集。模型对应这三个数据集有三个误差，训练集误差、开发集误差、与测试集误差，另外还有一个人类梳理这类问题的误差值—人类水平误差。基于此的著名的偏差-方差权衡理论是指导我们调参的准则：人类误差与训练集误差之间的差距称为可避免的偏差，这部分误差可以通过进一步学习及模型调优来避免。而训练集和开发集之间的差距称为方差，它是训练集与开发...

2018-11-02 15:36:48 1041