欧恩方-CSDN博客

原创 ‘Functional‘ object has no attribute ‘loss_functions‘

在tensorflow2.1使用的model.loss_functions在tensorflow2.4里不可用了，该方法换成了model.compiled_loss._get_loss_object(model.compiled_loss._losses).fn# isinstance(model, tf.keras.Model) == True# tf2.1可用, tf2.4不可用model.loss_functions[0](y, pred)# tf2.4可用, tf2.1不可用model.c

2021-05-13 13:21:00 1357

原创魔改《自动化学报》Latex模板

想用latex写一个中文文档，看上了《自动化学报》的模板，感觉不错，下载下来在本地的tex live上编译，报了一大串错；上传到overleaf，还是报错；原来是这个模板太老了，居然还在用CTex，正经人谁还用已经淘汰了的CTex啊。而且，模板给的老版CTex下载地址http://www.aas.net.cn/UserFiles/File/CTeX-2.4.6-Full.exe根本为空啊，老同志不讲武德啊。这个年轻人CTeX-2.4.6-Full给的ftp也下不了。那咋整呢，我一个latex小白，翻来覆去

2021-04-20 19:55:04 5625 18

原创 conda activate or source activate?

朋友说激活环境后python版本并没有变成对应环境的版本,原来他用的是conda activate env, conda版本为4.5.4. 据<Python Anaconda: should I use conda activate or source activate in linux>:The logic and mechanisms underlying environment activation have been reworked. With conda 4.4, conda a

2021-04-16 09:42:47 3823

原创扫读 | Towards Personalized Federated Learning

arxiv:2103.00710 传送门综述个性化联邦学习（Personalized FL，PFL）的进展。讨论了PFL目前的发展阻碍，并将PFL分为基于数据的和基于模型的方法。展望PFL的发展轨迹、PFL的benchmarking、可信赖的PFL方法PFL的发展阻碍有限的FL框架隐私保护约束。现有很多方法不满足隐私保护的需求，有的允许本地数据或元数据的共享，有的假设可以用能代表整体分布的代理数据集PFL方法基于数据的方法目标是平滑掉统计上的异构性数据增强，通常需要共享一些数据

2021-03-22 16:12:55 878 1

原创项目开源：scrapy + mongodb + smtplib + 百度翻译 + schedule = CNS订阅器

背景与需求分析实验室背景的原因，经常需要浏览CNS(Cell\Nature\Science)的文章，有时候因为网站加载比较慢，并且懒所以不想点开网站去读，为了push自己更加勤奋，我决定设计一个订阅CNS文章的工具。一般用RSS来完成，但是CNS网站提供的RSS源是每天都有的文章，不符合我们一期一期阅读的习惯，而且范围更大，不限于主刊。所以，我想定制一个符合我习惯的订阅工具。整理需求如下：1. 每天定时抓取Cell\Nature\Science\Nature Machine Intelligence\

2021-03-07 21:32:15 339

转载 Command “python setup.py egg_info“ failed with error code 1

pip install opencv-python的时候报错：Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-466z7z6k/opencv-python/解决方案：更新pip版本pip install --upgrade setuptoolspip install --upgrade pip参考：Command “python setup.py egg_info” failed wit

2021-03-03 16:16:20 279 1

原创扫读 | Heterogeneity for the Win: One-Shot Federated Clustering

ArXiv ID: 2103.00697考虑无监督的联邦学习，基于Lloyd的k-means聚类方法，提出k-FED，只需要一次通讯，且能够处理网络错误问题发现数据的统计学异构性反而可能对聚类有帮助（对监督问题是有害的）假设数据Non-IID，且节点可以随意加入或退出网络在k-FED中，每个节点解决k-means聚类问题，并传输聚类均值；基于中心可分性假设，即簇均值是很好可分的；假设每个节点上簇的个数小于整体簇数的平方根在本文假设下，数据异构性使得k-FED对中心可分性的需求降低了算法很简单，

2021-03-02 23:37:44 886

原创 tensorflow2.x/keras手动批训练在SGD优化器上的问题

手动 model.fit 进行批训练，momentium 对应的历史梯度信息没有保存，lr 也不会修改手动 model.train_on_batch 进行批训练，momentium 貌似保存了，但 lr 不会修改手动 tape.gradient 求导时，Normalization 层没有更新解决方案：手动批训练时，尽量使用train_on_batch，手动更新 lr，一个公式是 lr = lr / (1 + lr_rate * iterations)手动求导时，注意启动训练模式 model(.

2021-03-02 23:24:48 281

原创思考：知识蒸馏的缺点

知识蒸馏不太适合用于（分布式学习中）对在不同分布上学习得到的模型的集成，原因是：Teacher必须得有一本book才能教给Student，并且传递的知识只限于book的内容，因此book本身必须能反映整体数据的分布才行，相当于只教了死记硬背没有教其中的逻辑推理关系。还有一个问题，如果book本身能够能够反映整体分布，我又何必去学不同分布上的数据呢。...

2020-08-26 16:23:03 3430 1

原创 Linux安装Anaconda3并创建虚拟环境来安装tensorflow-gpu和tensorflow-federated

安装Anacondawget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2020.02-Linux-x86_64.shbash Anaconda3-2020.02-Linux-x86_64.sh 创建并激活虚拟环境(name:tff)conda create -n tffconda activate...

2020-04-22 13:03:18 691

原创 centos7下pip安装Scrapy报错

报错内容：src/twisted/test/raiser.c:4:20: fatal error: Python.h: No such file or directory #include "Python.h" ^ compilation terminated. error: command 'gcc' failed wi...

2019-06-12 16:40:24 369

原创 Spark-Python安装与配置

在centos下hadoop伪分布式配置及python测试中，我们已经安装好了Hadoop，下面我们来安装Spark。Scala安装与配置由于Spark是用Scala编写的，所以我们要先安装Scala。$ wget -P ~/download/ https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz$ cd ~/downl...

2019-05-02 13:45:06 835

原创 centos下hadoop伪分布式配置及python测试

安装和配置java$ yum -y install java-1.7.0-openjdk*$ ls -lrt /usr/bin/java# lrwxrwxrwx 1 root root 22 Apr 29 13:47 /usr/bin/java -> /etc/alternatives/java$ ls -lrt /etc/alternatives/java#lrwxrwxrwx ...

2019-04-29 15:48:14 263

原创 python安装离线下载的第三方库

pip安装# pip install --no-index --find-links=/第三方库所在目录第三方库名# e.g. pip install --no-index --find-links=~/下载 numpy编译安装sudo python setup.py buildsudo python setup.py install ...

2019-04-19 14:07:01 719

原创 LINUX下OPENCV读取摄像头花屏问题

问题：用cv2读取摄像头，帧率取25，不定时出现H.264解码异常，同时图像花屏。解决方案：用多线程和queue队列，一个线程读取摄像头，另一个线程显示，读取摄像头速度设置更快的时候，比如，每1ms拍一张，而显示和保存还是25fps，此时不再出现花屏和卡帧问题，延时也变短了。。。...

2018-11-22 16:36:05 3976 5

原创使用eggjs框架配置监听地址和端口问题

eggjs默认监听127.0.0.1:7001，如果想改成0.0.0.0:7002,只需在配置文件config.*.js里添加config.cluster = { listen: { path: '', port: 7002, hostname: '0.0.0.0', }};即可。...

2018-10-13 13:11:12 14406

原创阿里云轻量应用服务器无法远程访问

因为是初体验，搞了一天，无论是FTP还是MySQL、MongoDB，都无法远程访问。。。MongoDB给bindIp加上内网地址，还是不行。后来在面板上放行端口，仍然没法访问。准备吃饭、绝望之际，打开了服务器管理控制台，一看这里还有一个防火墙，填上端口，终于可以了。。。这也太不友好了，防火墙居然有两处，一般人轻易不知道的呀。...

2018-10-04 18:44:02 9012 10

原创 aes时灵时不灵的问题

用crypto写了一个加密方法，加密数据在远端有时能解密有时不能。原因：aes算法需要长度为16倍数是指字节Bytes的长度，而不是字符串String的长度。

2018-10-01 22:26:23 361

原创 QQ群昵称恶搞玩法

很多同学都知道，在N年前Q群流行这样一种玩法：xxx撤回了一条消息并亲了你一下……尽管这个玩法已经被tx爸爸修复了，但其精髓值得研究一下。注：所谓修复，只是使之露出破绽，并没有把效果完全去掉。查阅资料发现，其实只是两个字符作怪而已，让我们测试一下效果吧。/* 1 */// 发送效果：正常// 撤回效果：正常const name = 'Au Au';const suffix = ...

2018-08-19 11:50:38 40536 11

原创用空间说说做词云，有趣好玩，颜值爆表

用空间说说做词云，有趣好玩，颜值爆表哈喽大家好，我跟大家分享Python的一个有趣玩法：用QQ空间的说说做词云。材料准备首先我们准备好看的血小板一只。然后准备好Python3。准备selenium、requests、jieba、wordcloud、matplotlib等Python包。打开终端或cmd，运行：pip install seleniumpip ...

2018-08-18 15:35:24 804

原创模式识别在生物信息领域的应用实例

模式识别在生物信息领域的应用实例一、问题需求细胞是动植物的结构和功能的基本单位。人体大约由几十万亿个细胞组成，根据细胞的形态、功能等可以把细胞分为众多不同的类型，如生殖细胞、神经细胞等等。研究发现，即使是同一类的细胞，在形态、基因表达等方面仍存在着差异。为了探究细胞与细胞之间的差异及其原因，单细胞测序技术应运而生。本次作业将使用单细胞基因表达数据对细胞分类问题进行探究。 ...

2018-07-06 20:46:12 4840

原创模式识别笔记8 | 统计分类器

下面要介绍的是另一类被称为产生式模型（Generative Model）的方法，这类方法不是直接构造能够区分不同类别的判别函数，而是考察观察到的待识别模式由不同类别所产生的概率，根据不同类别产生出待识别模式的概率大小来决定其类别属性。先将待识别模式的特征矢量$\vec{x}$看作是一个随机矢量，每个类别样本的分布可以用一个概率密度函数来描述，每一次识别过程中输入到分类器中的特征矢量可以作为通过一次随机试验所得到的观察值，待识别特征矢量可能属于任何一个类别，因此样本所属的类别$\omega$也可以看作...

2018-06-29 09:31:39 723

欧氏空间