- 博客(215)
- 资源 (34)
- 收藏
- 关注
原创 一句话讲清楚关于精确度和召回率的区别
看过许多AI书籍, 关于混淆矩阵里的精确度precision 和 召回率recall这2个概念,看懂了但是总是容易混在一起,很很影响使用。死记硬背公式,用处不大。后来认真研究发现,原来他们2者的主要差异就在于测试的对象是单个类别还是多个类别。如果是多个类别的准确度测试就是精确度,如果对单一个类别的分类准确度测试就是召回率。精确度precision: 对多种类别对象,准确识别出某个类别的的概率,就是我们日常生活中说的准确度。召回率recall (测试的对象必须都是同一个分类, 简单说就是对
2020-09-18 09:07:06 2422
原创 关于如果提高外文IT书籍的特别是英文书籍的阅读速度的一种实现方法
经验分享:关于如果提高外文IT书籍的特别是英文书籍的阅读速度的一种实现方法虽然已经读英文书籍累计已经有22年了,但是随着信息量的爆发,每年阅读书籍的量在增加,最近几年每年读的书都在500以上,纸质的和电子书,电子书占大部分。很多管理方法,技术方法,都是英文的,处在这个行业里,特别是研究AI,必须及时获取全球最顶级的书籍,与时俱进。说的容易,做到的确实不容易。 英文水平是限制大多数IT人士发展的瓶颈之一。 今天我突然想到一个巧妙的解决办法,可以快速的翻译各种国外电子书籍文中文。第一代 版本1: 拷贝黏
2020-09-17 17:47:20 316
原创 人工智能 深度学习的书籍推荐
这里给大家推荐2本很不错的关于人工智能 深度学习的书籍。《Deep Learning for Coders with fastai and PyTorch: AI Applications Without a PhD 1st Edition》 总共1028页,书挺厚的,我连续花了大概10天*6小时=60小时。时间才翻译完成并测试,看懂每个代码。同时看了相关重点部分的pytorch 实现代码。这本书 适合有一定AI相关知识基础的用户阅读。浅显易懂,所有代码都可以在Jupyter 上实现,连书籍也是在这个
2020-09-10 11:22:41 1343
原创 Mac OS安装QEMU 运行ARM操作系统
Mac OS安装QEMU 运行ARM操作系统废话不多说,直接上代码,可以拷贝黏贴,快速验证一下.#如果要确保可以下载,提高速度,如果有代-理,可以类似这样操作,#export http_proxy="http://127.0.0.1:8001"; export HTTP_PROXY="http://127.0.0.1:8001"; #export https_proxy="http://127.0.0.1:8001"; export HTTPS_PROXY="http://127.0.0.1:8001
2020-09-10 11:01:27 3502
原创 验证QEMU跨平台编译能力
实验环境:在物理机器上 安装了QEMU 5.0.0qemu-system-arm --versionQEMU emulator version 5.0.0Copyright © 2003-2020 Fabrice Bellard and the QEMU Project developers之前在树莓派上编译opencv4.4 速度太慢了, 想是否可以利用mac Pro 强大的编译能力,编译好后,再安装到 树莓派上,特别是 pi-zeroW 设备,这样可以大幅度提高开发效率.下面是验证过程记录:
2020-09-10 10:52:43 273
原创 growpart 实战 Linux 磁盘分区扩容
最近在做项目时,测试QEMU虚拟机,发现了磁盘分区空间不足,需要扩展指定分区的大小, 网上找到了国外的资料,研究测试了一下,确实可以使用。现在把实战过程整理分享给需要的朋友。首先安装growpart 工具:对于Debian 或ubuntu 系统执行下面的安装:#安装磁盘调整大小的工具growpartsudo apt updatesudo apt install cloud-guest-utilssudo apt install xfsprogs对于 centos ,redhat 用户执行:
2020-09-10 00:55:17 12081 2
原创 Jupyter 使用技巧分享
Jupyter 笔记本由于简单易用,最近几年流行度越来越高,可以方便的把代码,代码输出结果,和注释,图片很方便的融合在一起。Jupyter 更换主题长时间看 Jupyter 默认的主题,眼睛容易疲劳。可以设置不同的主题,让界面更好看,眼睛更不容易疲劳.安装更换皮肤pip install --upgrade jupyterthemes -i https://pypi.tuna.tsinghua.edu.cn/simple#列出可配置的样式清单列表jt -l指定一种样式, 必须加上-T
2020-08-31 14:45:28 247
原创 使用azure API批量获取图片数据的方法入门
最近发现了微软也有类似谷歌的图片搜索下载API,可以方便的根据关键字获取海量的数据,并下载保持到本地,作为初始数据,解决巧妇难为无米之炊的烦恼。注册微软azure 账户申请图像搜索api根据下面代码,修改相应的参数必应搜索 API v7此 API 密钥当前处于活动状态剩余 7 天必应搜索 API v7 采取了各种增强措施:例如,必应 Web 搜索提升了性能,必应图像搜索新增搜索筛选器,必应视频搜索和必应图像搜索简化了分页,以及改进了错误处理流程。此试用版是捆绑包的一部分,包含
2020-08-20 18:05:53 522 3
原创 树莓派TF卡磁盘扩容 分区扩容
总共3步,可以把TF卡尚未使用的空间增加到系统所在分区。登录树莓派,执行命令: sudo raspi-config2.第一步按回车后,如下图,选择Advanced Options3. 选择A1 Expand FileSystem Ensures that all of hte SD card storage is available to the OS. 然后按回车重新启动 输入命令: sudo reboot 按回车,重新启动后,空间就恢复正常的全部可用状态.A1 Expa
2020-07-15 17:13:22 1610
原创 在mabook pro 上使用显卡进行人工智能模型训练
自从2019年6月份买了macbook pro 后,这台笔记本显卡如何用于平时的人工智能计算,一直困扰着我,因为当时还特地专门定制了外置显卡的的安装。当时多花了差不多3000港币,但是市面上AI计算的,基本用navidia 的卡,我找了几种办法,甚至想到了虚拟机映射物理显卡,还是以失败告终。–我还是会回来收拾这个显卡问题的,我潜意识里,一直记着这事情,早晚要搞定这个问题。终于时机来了。网上看到了几篇国外的文章,提到了 Deep Learning using GPU on your MacBook ...
2020-05-29 11:07:24 2839
原创 iPad 被锁死后如何恢复出厂设置
这几天,家里小朋友,又把iPad 锁屏密码弄锁死了。之前是花钱找人恢复,今天觉得这个应该不是很难,跟手机恢复出厂设置应该差不多。于是网上找了资料,动手实践起来。iPad已停用有三种方式可以恢复第一种:使用iCloud抹除密码1.在电脑上打开iCloud.com/find,登录Apple ID。2.点击顶部“所有设备”选择需要抹除开机密码的iPad设备名称。3.点击“抹除iPad设备名称...
2020-05-26 16:58:58 16394
原创 bash shell ffmpeg mp4批量转换为mp3
最需要把视频mp4转换为mp3,从百度网盘下载mp4到本地苹果电脑后,使用bash shell 和ffmpeg 批量转换,下面是实现代码:前提条件:1.电脑安装了bash shell2.安装了ffmpeg3.有mp4或其他格式的视频文件.mp4tomp3#!/usr/bin/env bashecho "批量转换当前文件夹的mp4为mp3文件"mp4PostFix=".mp4";file_not_ready="downloading"fileList=$(ls -1 | tr " "
2020-05-10 23:45:44 1044
原创 C++ 程序退出是自动立即关闭TCP端口
[2020-04-23 16:29:46] [library] asio::listen called from the wrong stateterminate called after throwing an instance of ‘websocketpp::exception’what(): invalid stateAborted 最近在一个AI项目C++开发中,测试时遇到了一...
2020-04-23 16:42:41 1235
原创 calibre-web docker的使用
[root@localhost calibre]# more start-docker.sh#!/usr/bin/env bashfirewall-cmd --add-port=8083/tcp --permanent --zone publicfirewall-cmd --reload#https://hub.docker.com/r/linuxserver/calibre-web...
2019-12-20 07:11:27 7732 2
原创 Intellij idea 找不包的错误解决办法
Intellij idea 项目打开时, gradle 文件都正常, 命令行下面可以正常编译,运行,但是用intellij idea 打开,总是提示找不到包。解决办法: 删除项目根目录下的.idea, 重新打开intelij idea 导入一遍,即可。这个.idea 是隐藏文件,如果在linux 或Mac 下,直接rm -rf .idea 即可。...
2019-12-06 19:42:16 544
原创 Centos8 运行CUDA10.2+Tensorflow1.15.0
python版本必须正确 截止2019.12.04日 请不要用python3.8.0 版本,因为安装不了tensorflow, python 3.6.8 是可以的。#软件安装过程Python3.6.8 安装 centos8 自带的,或者从源代码安装mkdir -p /var/server/cd /var/serverwget https://www.python.or...
2019-12-04 19:55:43 4307 5
原创 Centos8 安装Teamviewer 安装
Centos8 安装Teamviewer 安装自动化安装过程如下 sudo dnf -y install https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm sudo dnf -y install wget wget https://download.teamviewer.com/dow...
2019-11-29 16:56:26 2036
原创 一篇文章搞懂 数据海洋 数据湖 数据池 数据水坑 数据孤岛 数据仓库 基本概念
一。数据湖由数据驱动的决策非常流行。从数据科学,机器学习和高级分析到实时仪表板,决策者都需要数据来帮助做出决策。该数据需要一个家,而数据湖是创建该家的首选解决方案。该术语由Pentaho的CTO James Dixon发明并首次描述,他在博客中写道:“如果您将数据集市视为瓶装水的存储库,经过清洗,包装和结构化以便于使用,那么数据湖就很大了。水体处于更自然的状态。数据湖的内容从源头流入整个湖中...
2019-11-13 17:31:40 9269
原创 Raspberry PI开机启动程序没有正常启动的原因分析
树莓派开机启动的简单设置方法使用crontab 进入编辑crontab -e然后@reboot 关键字后 如下图, 写上你的启动脚本特别要注意几点: 1. 记得把shell 脚本和 python 脚本都加上 +x 执行权限。简单起见可以 chmod 755 你的脚本 2. 如果你的程序需要系统启动正常后才执行,请加上延迟时间。 ...
2019-11-05 10:23:12 1258
原创 如何实现Windows,Mac,Linux访问Hadoop HDFS 文件系统
最近有个需求需要实现windows 上直接访问Hadoop HDFS 文件系统,并设置相关权限,前提条件:1.hadoop 健康集群一个2.centos7 系统一个3. hadoop-fuse-dfs 安装软件4. samba4 安装软件第一步: 安装hadoop-fuse-dfs使用root用户登陆centos7修Ccentos-base.repo添加以下内容到文件最后:...
2019-10-31 18:13:13 1647
原创 创建加密的ETCD docker集群 实战记录
https://pcocc.readthedocs.io/en/latest/deps/etcd-production.html部署安全的etcd集群。本指南说明了如何设置高可用性etcd服务器集群以及如何确保与TLS的通信安全。 本指南改编自官方的etcd文档,您可以在其中找到更多详细信息。证书生成要启用TLS,您需要生成自签名证书颁发机构和服务器证书。 在此示例中,我们将考虑使用以下节点...
2019-10-28 14:36:11 1116
原创 git fork之后的项目如何保持和上游同步
团队协作,为了规范,一般都是fork组织的仓库到自己帐号下,再提交pr,组织的仓库一直保持更新,下面介绍如何保持自己fork之后的仓库与上游仓库同步。下面是我fork github 开源项目envoy 仓库https://github.com/envoyproxy/envoy.git为例github 上的项目fork 后,#下载到了本地电脑上git clone https://gith...
2019-10-17 14:06:25 2159
原创 物联网平台Thingsboard接入PM2.5数据实战
前提条件:1.树莓派设备(3代或4代)1个2.SDS011 激光测量PM2.5模块一个3.部署ThingsBoard的虚拟机一个,如果已安装docker环境,这样部署简单.4.一个部署好的Thingsboard (请参考 https://blog.csdn.net/happyfreeangel/article/details/102473547)SDS011使用激光检测原理,能够得到空气...
2019-10-15 22:37:29 2295 4
原创 开源物联网云平台 Thingsboard入门
#开源物联网云平台 Thingsboard入门本文主要介绍一下Thingsboard 物联网云平台的简单使用。ThingsBoard具有以下特点:1.遥测数据收集功能: 可以可靠地收集和存储遥测数据,以应对网络和硬件故障。使用可自定义的Web仪表板或服务器端API访问收集的数据。2.开箱即用的多租户支持多租户安装: 单个租户可能具有多个租户管理员以及数百万个设备和客户。3.数据可视化: ...
2019-10-10 06:21:46 8377 1
原创 Hadoop Yarn 高可用配置时的错误解决办法
找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster配置Yarn ResourceManager 高可用时,遇到了一个坑。找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster参考了网上各种解决办法,运行演示程序 cd $HADOOP_HOME/share/hadoop...
2019-09-24 09:36:53 2532
原创 简单的命令快速下载远程各种docker 镜像 github 库,各种软件资料。
做研究开发和项目实战中经常要下载国外的docker镜像和软件源代码,软件安装包,这个过程如果子国外的服务器上执行,一般不会超过10秒,如果在中国境内的机器上执行,一般要5分钟甚至几个小时,中间可能还会断线,,,,各种郁闷的事情都可能发生,导致工作效率极其低下。最快的是使用但是国内有很多限制,不是所有人都可以做到的,有时还是很慢.后来我就干脆到国外服务器下载后,ssh 搬回本地,或通过启动一...
2019-09-20 10:06:57 868
原创 SpringCloud gateway 动态路由入门
API 网关API 网关出现的原因是微服务架构的出现,不同的微服务一般会有不同的网络地址,而外部客户端可能需要调用多个服务的接口才能完成一个业务需求,如果让客户端直接与各个微服务通信,会有以下的问题:客户端会多次请求不同的微服务,增加了客户端的复杂性。存在跨域请求,在一定场景下处理相对复杂。认证复杂,每个服务都需要独立认证。难以重构,随着项目的迭代,可能需要重新划分微服务。例如,可能将...
2019-09-18 17:19:49 402
原创 Mac 格式化TF卡,获取原来的容量大小。
前几天制作树莓派的TF卡映像文件,TF卡容量从64GB变成了700MB左右。现在这个TF卡要重新格式化,恢复64GB,采用FAT32格式。#1.查看磁盘列表diskutil list#2. 请确认TF卡磁盘名称和路径(这个是个危险的操作,其他无关的外设请事先拔出来,以免误操作。)diskutil list #再次确认一下TF卡设备,一般情况下TF卡磁盘容量比Mac 上的磁盘要小很多,一般...
2019-09-13 11:57:28 3562
原创 如何创建ansible playbook 在生产环境100%可正常运行的环境?
最近遇到一个问题,在我机器上跑的很正常的ansible-playbook 项目,到了同事那里,死活跑不起来,发现了很多问题。1.ansible 版本不一致2.python 版本不一致3.playbook 依赖的系统命令不一致导致各种莫名其秒的错误,…后来干脆根据playbook 制作一个docker镜像,这样可以确保无论在什么系统下,只要支持docker 都可以正常运行。git 仓库...
2019-09-03 18:07:22 306
原创 etcd3 docker集群部署
创建一个3个节点的etcd3 集群。注意:etcd2和etcd3 启动命令是有差别的。之前我踩了这个坑,耗费了不少时间.准备3台虚拟机 centos7 1810etcd1 IP: 10.5.7.61etcd2 IP: 10.5.7.62etcd3 IP: 10.5.7.63在每台虚拟机上安装好docker. 我的虚拟机是从模版创建的,本身自带了docker,所以不用安装.确...
2019-08-22 18:35:45 910
原创 使用Apache Pulsar 而不是Apache Kafka构建我们的消息服务
Pulsar github 下载地址 https://github.com/apache/pulsar.git开发人员通过使每个人都能轻松获得与云无关的高性能消息传递技术来构建云原生分布式应用程序。开发人员希望编写分布式应用程序或微服务,但不希望管理复杂的消息基础结构或陷入特定云供应商的麻烦。他们需要一个可行的解决方案。当您着手构建最佳的消息传递基础结构服务时,第一步是选择正确的底层消息传...
2019-08-21 11:38:59 736
原创 关于谷歌kubernetes镜像下载的一种实现方式
看了网上不少文章说拉取国外docker镜像的,各种尝试都无法下载谷歌kubernetes 镜像。刚好缺了一个镜像k8s.gcr.io/metrics-server-amd64:v0.3.3,突然想到可以尝试用谷歌云下载看看,结果还是比较满意的,虽然过程有的折腾。要解决的问题: 下载kubernetes 各种不同版本的镜像.前提条件:只有浏览器可以上科学上网地址 https://con...
2019-08-20 22:18:43 1721 1
原创 Maven编译Docker 镜像并推送到Nexus
[ERROR] No plugin found for prefix ‘docker’ in the current project and in the plugin groups [org.apache.maven.plugins, org.codehaus.mojo] available from the repositories [local (/Users/linyingjie/.m2/...
2019-08-16 16:18:22 1880
原创 OpenCV基础知识
OpenCV 使用 BSD 许可证,因此对研究和商业用途均免费.OpenCV是一个具有实时计算机视觉功能的编程库,它可以免费用于学术和商业用途(BSD许可证)。OpenCV库的介绍,包括其主要模块和与库相关的其他有用信息。这里简要介绍OpenCV模块:核心:核心功能。核心功能是定义基本数据结构的模块,也是库中所有其他模块使用的基本功能。imgproc:图像处理。一种图像处理模块,包括...
2019-08-14 17:48:45 398
原创 python 基于各种真实运行环境离线下载安装包的通用方法
最近经常开发人工智能相关项目,经常需要安装不通硬件平台不同操作系统版本不同python版本的各种包,耗费了大量的时间和精力都是在下载等待中,要么就是失败重试.总结了一套通用的方法,可以节省大量的时间精力,避免精力和时间白白浪费了。特别是在中国境内,下载很慢,即使用了阿里和清华的镜像源头,还是下载很慢,因为少量的包在国内镜像上没有,下载速度只有几KB/秒。执行办法:git clone ht...
2019-08-09 11:06:11 1283
原创 Raspberry树莓派3B常见基础操作分享
1. 修改时区:dpkg-reconfigure tzdata2. 设置swap 分区大小。 详细可参考 http://www.bitpi.co/2015/02/11/how-to-change-raspberry-pis-swapfile-size-on-rasbian/sudo nano /etc/dphys-swapfile#swap默认大小是100MBCONF_SWAPSIZE...
2019-08-08 11:58:51 232
原创 使用树莓派3B+ 制作一个属于自己的无线AP 无线路由器 一个Wi-Fi热点
前提条件:硬件准备: 树莓派 raspberry pi 3B+ TF卡一张 8GB以上,操作电脑一台软件准备:如果您(或亲近的人)有生意(咖啡,餐馆,理发师或医生,简而言之,人们可能会等待的地方),您很可能已经不得不为您的客户提供互联网接入服务,想要提供你的盒子的密码。同样,您可能已经想要创建一个与Internet隔离的内部网络,例如在小公司内交换文件,等等。对于所有这些情况,最简单的解...
2019-08-06 16:38:46 2977
原创 如何快速获取设备ip地址
在日常调试特种设备,特别是没有屏幕,键盘鼠标的情况下,只是知道这个设备开启了dhcp, 和用户密码等,没有显示器,键盘鼠标,如何获取这个设备的IP,进而进行控制呢?保存下列代码为 netscan.sh 并设置执行权限 chmod +x netscan.sh#!/usr/bin/env bashdomain=`echo $1`ip_start=`echo $2| cut -d "," ...
2019-07-29 18:18:21 6967
原创 play json Flink 上应用遇到的坑
····最近开发flink 项目使用json, 遇到一个play json 很大的坑,错误提示1:play.api.libs.json.JsResultException: JsResultException(errors:List((/cpu,List(JsonValidationError(List(error.expected.jsnumber),WrappedArray()))), ...
2019-07-16 16:34:41 1842 1
原创 把docker状态变成kafka实时数据流---一行代码写了2天的shell代码
shell 命令行实时打印docker 状态,并添加当前的时间戳,变成json字符串,每行一个,持续不停的输出。结果将给filebeat 采集并实时送到kafka 集群做实时数据流分析的源头,发给Flink 做各种实时数据流分析.这个看起来很简单,其实要实现起来难度不小,尝试了多次都失败了,只是目标不断的趋近,到此刻终于彻底解决了这个问题。禁止stdio缓存实时输出docker st...
2019-07-13 00:38:47 210
Learning RxJava_ Reactive, Conc - Thomas Nield.pdf
2018-03-20
Understanding GIS_ An ArcGIS(r) - David Smith 3rd
2017-10-14
2017.09 page 481 Mobile App Development with Ion - Chris Griffith.pdf
2017-09-19
2016 page220 Spring Security Essentials - Nanda Nachimuthu.pdf )
2017-03-22
016.12 page412 Learning Vue.js 2 - Olga Filipova.pdf ) 您可以上传小于60MB的文件
2017-03-22
The Majesty Of Vue.js Paperback – October 28, 2016
2017-03-20
Load Balancing with HAProxy
2017-01-21
Nagios Core Administration Cook - Tom Ryder.pdf
2016-12-13
Mastering Mesos
2016-12-06
Mastering Mobile Test Automatio - Feroz Pearl Louis.pdf
2015-06-24
Fourier Analysis_ An Introduction (Princet - Elias M. Stein, Rami Shakarchi.epub
2020-04-25
The Road to GraphQL your journ
2018-12-17
Full-Stack Vue.js 2 and Laravel 5
2018-12-17
2018.03 page303 (Web Development) Miguel Grinberg-Flask Web
2018-12-10
Spring 5.0 By Example_ Grasp th - Claudio Eduardo de Oliveira.pdf
2018-06-04
Getting started with Spring Fra - J Sharma.pdf
2018-06-01
Problem Solving A statistician Chris Chatfield 2017.08 第2版
2018-06-01
Effective Data Visualization
2018-06-01
2015 page270 our Final Invention Artificial Intelligence
2018-05-30
2018 page364 Artificial Intelligence Advances in Research and Applications.pdf
2018-05-30
2017.12 page394 Kotlin Blueprints-Packt Publishing(2017).pdf
2018-05-30
Optimize code using Functional Programming Techniques.pdf
2018-05-30
2017 page661 JavaScript_Novice to Ninja, 2nd Edition-SitePoint(2017)
2018-04-19
2017.08 page877 Cloud Native Java_ Designing Re - Josh Long.pdf )
2018-03-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人