- 博客(11)
- 资源 (2)
- 收藏
- 关注
原创 原码,反码,补码,移码的一些理解以及加法器的实现
原码原码的引入是为了解决负数的表示。对于一个4位的系统而言,所有的二进制组成为:0000 00001 10010 20011 30100 40101 50110 60111 71000 8 -81001 9 -71010 10 -61011 11 -51100 12 -41101 13 -31110...
2020-04-24 00:36:34 587
原创 对卷积的一点理解(图像卷积、文本卷积、傅立叶变换)
最近在看DPCNN这个模型,这个模型是一个腾讯提出的文本分类模型,借鉴了Text CNN和ResNet两个模型的特征和架构,因为是用在文本上应用了CNN,但是一直对卷积的概念不太清楚,所以趁着坐火车的时间看了看相关的博客。 图像的卷积 对于图像而言,卷积应该是一个革命性的操作,本质上是一种图像特征提取的方法,为什么我们不用全连接层硬怼呢?首先,如果每个特征都要...
2019-09-07 23:47:07 1205
原创 如何批量下载网站中的超链接(一次性下载网页中所有可能的PDF文件)
WebDownloader闲来无事写的一个网页资源下载器,有时候一个网页中,含有很多超链接,其中有很多资源,比如:视频/音频 图片 PDF文件 表格 其他超链接那么怎么批量获取呢?如果需要编写一个高扩展、分布式的抓取框架,应该包含哪些架构呢,这个之后再慢慢完善吧。首先,使用python中的requests库写一个简单的PDF获取器,下面是几个核心模块。超链接获取这部分...
2019-03-07 02:18:01 34473 2
原创 Linux / CentOS 7 安装 tmux 最新版
在centos中,yum install tmux安装的貌似是1.8版本,而保存会话等插件是需要运行在1.9版本以上的,所以需要手动下载rpm包安装了。很简单,直接运行以下命令即可。# 安装更新yum update# 下载rpm源wget https://centos7.iuscommunity.org/ius-release.rpm# 安装rpm源rpm -Uvh ius-rel...
2019-02-15 21:13:39 3616
原创 Jupyter 部署全系列(Jupyter Notebook + Kernels + Jupyter Lab + Jupyter Hub)
本教程将涵盖Jupyter Notebook的部署,步骤如下:安装Jupyter Notebook 添加Kernels 添加多版本Python的Kernels 添加R Kernel 添加Julia Kernel 添加Ruby Kernel 添加Haskell Kernel 添加Javascipt Kernel 安装Jupyter Lab 安装Jupyter Hu...
2019-02-14 00:49:09 1318 2
原创 CentOS 7.6 中部署python开发环境和python虚拟环境
大家都知道python创建项目是一件很头疼的事情~从github上克隆下来的项目经常因为由于存在各种依赖、冲突等问题,导致运行会出现各种error,比如大家克隆一个django项目,1.9和2.x版本会有很多地方都不一样,再比如像sklearn、tensorflow、pytorch等机器学习、深度学习项目,也经常会经常版本问题产生各种各样的小问题,忙来忙去发现花在这上面的时间最多,所以其实理论上,...
2019-02-14 00:34:29 565 1
原创 python pymysql 读写MySQL数据库 速度对比 (你还在用pandas的to_sql吗?)
正在编辑中。。。。。大家用python3操作数据库一般都会用到pymysql,今天主要给大家介绍一下python3和MySQL的交互以及性能对比。读写,先说读数据吧,大家最常用的大概就是下面这张语句了。use db_name;select * from table_name;然后怎么在python里实现呢,很好说。 import pymysqlpymysql.conn...
2018-08-14 20:57:59 18182 12
原创 记MAC、Linux、Windows之间的数据互通
本文主要总结了不同的操作系统之间何通信,由于我手头正好有一台MAC,一台Windows,公司里还有开发机和测试机,即Linux,所以就瞎折腾了一下,怎么实现他们之间的无缝连接~1. MAC与Linux,这个应该是最方便的了,因为MAC本身就带有SSH,所以可以直接在终端中输入ssh user_name@ip_addr (user_name是用户名,ip_addr是你要连接的linux服务器的ip...
2018-03-08 01:25:10 1764
原创 mac R 语言读写文件乱码问题
在mac上,尽管安装的是中文系统,但仍然有可能会出现各种乱码问题,本文将搜集各类乱码问题,总结于此。1. 打开带中文csv文件出现乱码,可参考Mac下CSV中文乱码问题解决方法2. 使用RStudio读写csv或者其他类型文件出现乱码。直接写入文件:if(! dir.exists('./news_article/')) dir.create('./news_article/')for(i ...
2018-02-12 11:23:58 3392
原创 hive使用的一些坑
我们在对数据进行提取的时候,hive是经常用的工具,hql跟sql非常类似,也是面向数据分析人员的语言,但是hive在使用过程中可能会有非常多的坑,本文主要收集自己在使用的时候碰到的一些坑,供读者参考。1. 假设我们已经有了一个分区表,分区字段为p_date,按照日期进行分区,如果我们要完全覆盖已有的分区表,你可以使用overwrite,如下:overwrite table dm_strategy...
2018-02-10 13:23:10 962
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人