- 博客(38)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 VAE与LDM
LDMs 的一个关键特点是它们在潜在空间(子空间/降维)中进行扩散过程，而不是在原始数据空间中。编码器将输入数据映射到潜在空间中的一个分布，解码器则从这个分布中采样并重构输入数据。VAEs 是一种生成模型，通过学习数据的潜在（降维）表示（latent representation）来生成新数据。VAE 的目标是最大化重构数据的概率，同时最小化潜在表示的分布与先验分布之间的差异。VAE：适用于需要学习潜在表示并进行数据生成的任务，如图像生成、数据压缩等。VAE：通过编码器和解码器的组合生成数据。
2024-09-20 13:58:12
173
原创 条件变分自编码器（Conditional Variational Autoencoder，简称CVAE）
CVAE 风格变量（style variable）
2024-03-13 16:32:04
3424
3
原创 5G RC CAR 遥控赛车
5G 遥控赛车，内测阶段，免费把玩。链接：https://pan.baidu.com/s/1w8Yg_9kUGuPG1HHziHbfoQ提取码：iwds
2021-11-10 17:36:03
2216
原创 TF feeding
供给数据(Feeding)： 在TensorFlow程序运行的每一步， 让Python代码来供给数据。def extract_data(filename, num_images): """Extract the images into a 4D tensor [image index, y, x, channels]. Values are rescaled from
2018-01-17 08:24:25
222
原创 install tensorflow on centOS
1)make sure python 2.7 installed$ pythonPython 2.7.5 (default, Nov 6 2016, 00:28:07) [GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2Type "help", "copyright", "credits" or "license" fo
2018-01-11 09:07:53
238
原创 Etcd V3
etcd 2和其它类似开源一致性系统一样最多只能数十万级别的key。主要原因是一致性系统都采用了基于log的复制。log不能无限增长，所以在某一时刻系统需要做一个完整的snapshot并且将snapshot存储到磁盘。在存储snapshot之后才能将之前的log丢弃。每次存储完整的snapshot 是非常没有效率的，但是对于一致性系统来说设计增量snapshot以及传输同步大量数据都是
2018-01-03 10:34:09
2473
原创 Etcd，Zookeeper，Consul 比较
Etcd 和 Zookeeper 提供的能力非常相似，在软件生态中所处的位置也几乎是一样的，可以互相替代的。都是通用的一致性元信息存储，都提供watch机制用于变更通知和分发，也都被分布式系统用来作为共享信息存储，二者除了实现细节，语言，一致性协议上的区别，最大的区别在周边生态圈。Zookeeper 是apache下的，用java写的，提供rpc接口，最早从hadoop项目中孵
2017-12-20 14:46:42
5394
转载 golang 解读（3）go-web + go-cgi + go-cgi-script?
由于xx.go并非是可执行文件，只能使用go run 来进行调用https://www.cnblogs.com/yjf512/archive/2012/12/25/2831891.htmlpackage main import( "net/http/cgi" "log" "net/http") func main() { http.H
2017-12-08 10:42:54
657
原创 golang 解读（2） sync.Map
sync.map就是1.9版本带的线程安全map.[[在Go 1.6之前， 内置的map类型是部分goroutine安全的，并发的读没有问题，并发的写可能有问题。自go 1.6之后， 并发地读写map会报错，所以go 1.9之前的解决方案是额外绑定一个锁，封装成一个新的struct或者单独使用锁都可以。在Go官方blog的Go maps in action一文中，提供了一种简便的解决方
2017-12-08 09:42:28
4682
原创 golang 解读（1） sync.once
sync.once可以控制函数只能被调用一次。不能多次重复调用。一般用来作系统初始化工作。源码实现非常的简单： type Once struct {m Mutexdone uint32} func (o *Once) Do(f func()) {if atomic.LoadUint32(&o.done) == 1 {return}// Slow-
2017-12-08 08:35:50
312
原创 CentOS 7安装R
wget http://lib.stat.cmu.edu/R/CRAN/src/base/R-3/R-3.0.0.tar.gz tar xzf R-3.0.0.tar.gz cd R-3.0.0 安装文件yum install gcc-gfortranyum install glibc-headersyum install gcc-c++yum
2016-12-22 09:54:37
813
原创 Netty TypeParameterMatcher与java 泛型
/** * Create a new instance which will try to detect the types to match out of the type parameter of the class. * * @param autoRelease {@code true} if handled messages should be relea
2016-11-29 15:00:45
2058
转载 判别学习算法和生成学习算法
http://blog.csdn.net/xiahouzuoxin/article/details/45223519
2016-10-14 16:56:24
1892
原创 数据挖掘1
数据挖掘过程的方法论，其中比较经典的是CRISP-DM（CRoss IndustryStandard Process- for Data Mining，跨行业数据挖掘标准流程），其中一共分为6个步骤：商业理解，数据理解，数据准备，建模，评估，发布。统计学习划分为两种类型：有监督学习，无监督学习有监督学习范畴，即对每一个自变量x都有一个因变量y一一对应；对于有监督学习，响应变量【
2016-10-10 14:33:15
488
原创 Queue 与 List
Queue 和 BlockingQueue。Queue 接口与 List 类似，但它只允许从后面插入，从前面删除。通过消除 List 的随机访问要求，可以创建比现有 ArrayList 和 LinkedList 实现性能更好的 Queue 实现。因为 List 的许多应用程序实际上不需要随机访问，所以Queue 通常可以替代 List，来获得更好的性能。java.util 包中的集合类都返回
2016-07-06 10:40:11
1011
原创 ambari-server start WARNING: setpgid(39015, 0) failed - [Errno 13] Permission denied
# ambari-server startUsing python /usr/bin/python2Starting ambari-serverAmbari Server running with administrator privileges.Organizing resource files at /var/lib/ambari-server/resources...W
2016-06-06 10:11:43
945
原创 kafka
Kafka遵循了一种大部分消息系统共同的传统的设计：producer将消息推送到broker，consumer从broker拉取消息。Pull有个缺点是，如果broker没有可供消费的消息，将导致consumer不断在循环中轮询，直到新消息到t达。为了避免这点，Kafka有个参数可以让consumer阻塞知道新消息到达(当然也可以阻塞知道消息的数量达到某个特定的量这样就可以批量发送)。
2016-05-20 10:58:54
796
原创 ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
Ambari中配置hbase:SecurityEnable Authentication :SimpleEnable Authorization: off ==>启动重起整个系统，工作正常，[root@namenode~]# sudo -u hbase hbase shellSLF4J:Class path contains multiple SLF4J b
2016-05-09 11:19:00
3216
原创 kettle download
https://sourceforge.net/projects/pentaho/files/Data%20Integration/
2016-04-14 12:05:39
645
原创 phoenix查询奇怪的异常
selectSIWEB.DNSDELAY from CPSPHOENIXTESTDEMO where provcity='8320800' andDNSDELAY='-1';[this is OK]selectSIWEB.DNSDELAY from CPSPHOENIXTESTDEMO where provcity like '8320%' and DNSDELAY='-1';
2016-03-24 14:31:59
2905
原创 递归与循环
递归和迭代都是循环的一种。递归是重复调用函数自身实现循环。迭代是函数内某段代码实现循环，而迭代与普通循环的区别是：循环代码中参与运算的变量同时是保存结果的变量，当前保存的结果作为下一次循环计算的初始值。递归变循环的文件扫描列子：递归:dealFile(String filePath) { // 若是目录, 采用递归的方法遍历子目录
2016-03-23 17:51:15
550
转载 presto hbase
[from]http://labs.gree.jp/blog/2014/12/12838/PhoenixIn GREE, we have a small HBase cluster, which holds data and metrics for OLAP. When we introduced Presto, we started to look for a w
2016-03-22 17:11:30
4757
原创 HBASE+PHOENIX性能优化注解
hbase环境配置优化：几个配置参数：hbase.hregion.max.filesize:1)当hbase.hregion.max.filesize比较小时，触发split的机率更大，而split的时候会将regionoffline，因此在split结束的时间前，访问该region的请求将被block住，客户端自我block的时间默认为1s。当大量的region同时发生split
2016-03-11 15:23:44
9760
原创 MapReduce传递文件内容到map中使用
Job中配置：String Info_inConfigDir = "hdfs://localhost:9000/cps/conf/FileReport"; Path filePath = new Path(Info_inConfigDir); job.addCacheFile(filePath.toUri());//mapper start
2016-01-29 14:43:50
577
原创 MapReduce一次性读取小文件全部内容(压缩和非压缩)，文件名作key
/**Text缺省的最大到1024*1024,也就是1MB*/public class SmallFileRecordReader extends RecordReader{ private static final Log LOG = LogFactory.getLog(WholeFileRecordReader.class); private Fi
2016-01-21 15:59:23
660
原创 .gz文件上载到hdfs中
.gz文件上载到hdfs中用 dfs -copyFormLocal的方式，上载后的文件正常，可以用mapreduce直接读取；用flume的方式，datastream类型，上载后mapreduce操作异常，为何呢？Error: java.io.EOFException: Unexpected end of input stream at org.apache.hadoop.i
2016-01-18 15:06:22
1795
4
转载 flume监控
http://www.cnblogs.com/sunxucool/p/3906525.htmllume本身提供了http, ganglia的监控服务#flume应用参数监控bin/flume-ng agent -n consumer -c conf -f bin/conf.properties-Dflume.monitoring.type=http -Dflume.
2016-01-08 15:06:12
469
转载 spooldir source header 拦截器
spooldir source可以将文件名作为header中的key:basename写入到event的header当中去。试想一下，如果有一个拦截器可以拦截这个event,然后抽取header中这个key的值，将其拆分成3段，每一段都放入到header中，这样就可以实现那个需求了。遗憾的是，flume没有提供可以拦截header的拦截器http://blog.csdn.net/xiao_
2016-01-07 16:36:35
746
转载 多sink
多sink可以直接按常规配置，这样的话每个sink会启动一个sinkrunner，相当于每个线程一个sink，互不干扰，负载均衡是通过channel实现的，效率会提高为n倍，如果在此基础上加入sinkgroup，则sinkgroup会启动一个sinkrunner,就是单线程，sinkgroup从channel中读取数据，然后分发到下面挂载的sink中，效率和单sink一样，没有提高，但是可以实
2016-01-06 10:51:14
553
原创 ReliableSpoolingFileEventReader
1.6.0中修改：/apache-flume-1.6.0-src/flume-ng-core/src/main/java/org/apache/flume/client/arvro/package org.apache.flume.client.avro;public class ReliableSpoolingFileEventReader priva
2016-01-05 15:26:15
1340
原创 用flume提交文件到hdfs系统，并保持原来的文件名信息
用flume提交文件到hdfs系统，并保持原来的文件名信息的配置方式：# 配置files_source# spoolingagent1.sources.files_source.type = spooldiragent1.sources.files_source.spoolDir = /tmp/flumetest/agent1.sources.files_source.file
2016-01-05 09:10:43
5450
5
原创 kafkaspout+storm
storm0.9.6;kafka_2.8.0-0.8.1.1集成后，运行出现各种异常。需要把curator,guava,zookeeper等几个包下载到storm/lib目录下，OK;kafka有个疑问：topic在机器重新启动后，再开启kafka，就list不出来了，需要重新create，为何呢？
2015-12-29 17:02:45
556
原创 storm简述最为清楚的文章
http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.htmlConfig conf = new Config();conf.setNumWorkers(2); // use two worker processestopologyBuilder.se
2015-12-25 10:42:06
650
原创 Storm UI Topology summary
Storm UI Topology summary初学storm，提交了个本地模式的topology,运行正常，但是Storm UI Topology summary为空；经过各种检查实验，原来是只有提交distributed mode的才能在Storm UI Topology summary看到。记录一下
2015-12-18 10:25:09
3001
原创 ASIWebPageRequest问题
用ASIWebPageRequest请求sina.cn网页，发现老不能正常完成。发现原来其在解析内链地址时，把about:blank当成uri地址了。修改后，成功！
2014-02-27 14:40:31
679
基于基站定位的android jar包
2019-05-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人