- 博客(13)
- 收藏
- 关注
RSS订阅原创 Python 过滤字符串中的emoji
使用python环境过滤文本当中的emoji表情在使用spark处理用户评论时发现大量的ermoji无效表情，几乎不能作为有效评论，所以需要删除其中的无用emoji表情方法一需要先导入 emoji 包,然后通过写好的 give_emoji_free_text 函数操作pip install emojiimport emojidef give_emoji_free_text(text): allchars = [str for str in text.decode('utf-8')]
2020-11-23 16:43:43
2384
5
原创 MAC系统下安装pyspark
在mac下搭建pyspark需要安装的有：1.JAVA JDK2.Scala3.apache-spark4.Hadoop(可选)5.pyspark安装上面几个可以选择去官网下载安装包，解压后再自行配置环境变量。也可以选择使用brew进行安装，比较方便的一种安装方式以下介绍brew的安装方式如果你的电脑上没有安装brew的话，你只需在终端要执行以下步骤：从这里下载java-jdk后解压安装即可，剩下的通过brew工具都可以安装安装brew/bin/zsh -c "$(curl -fsS
2020-11-16 11:07:44
1921
2
原创 numpy搭建可训练式CNN（二）：CNN卷积的反向传播，反卷积，反池化的实现
https://zhuanlan.zhihu.com/p/40951745https://mp.weixin.qq.com/s?__biz=MzI4ODY2NjYzMQ==&mid=2247484232&idx=1&sn=e8f962ecbc85e033e1b06ec166dcb306&chksm=ec3ba620db4c2f3695c43de7d205e16b82cf1b67208d4c572695a5202736dfa89b89c9076595&mpshare=
2020-07-23 01:32:38
507
原创 numpy搭建可训练式CNN（一）：使用im2col的前向传播
通过摆脱pytorch和tensorflow完全搭建神经网络来夯实一下基础，害，双非的卑微努力本篇搭建了卷积部分和池化的前向传播首先需要复习卷积的基础概念输入（feature), 卷积核（filter）中对应点的相乘上图很清楚的表示了单通道feature的卷积计算，在多通道下，需要注意的是一个卷积核的shape(c, h, w)，在每个卷积核的对应通道和feature的对应通道相乘后加起来，具体过程如下图所示在理解上面的卷积过程后，如果自己尝试卷积，可能需要至少6个for循环，极大拖延效率，所
2020-07-17 22:50:16
375
原创 ubuntu利用conda创建虚拟环境，并安装cuda，cudnn，pytorch
https://blog.csdn.net/kaixinjiuxing666/article/details/80321124
2020-06-03 18:35:34
839
原创 Anaconda导出/导入环境
导出已有环境：首先需要进入某个环境中conda env export > environment.yaml 当前环境信息会被保存在 environment.yaml文件中。该文件可以使用notepad查看可以修改其中的信息，这个文件保存了虚拟环境的名字和所有的pip包。修改环境名字可以创建指定名字的环境当我们想再次创建该环境，或根据别人提供的.yaml文件复现环境时，可以：conda env create -f environment.yaml...
2020-06-03 18:32:00
1765
原创 linux使用chmod
用chmod命令, 先进入要修改权限的目录abc的上一级目录 , 然后运行chmod -R o+r+w abc, 再运行chmod o+x+w abc第一个命令可以让abc下的所有文件都能让所有人读写, 第2个命令将abc目录增加执行和写权限, 此目录必须要有执行权限才行,否则ftp还是不能访问.上面两个命令只是为"其他"组的人增加读写权限,...
2020-04-08 10:11:44
456
原创 numpy 生成随机数列表
一. 最直接的方式：用numpy.random模块来生成随机数组1、np.random.rand 用于生成[0.0, 1.0)之间的随机浮点数， 当没有参数时，返回一个随机浮点数，当有一个参数时，返回该参数长度大小的一维随机浮点数数组，参数建议是整数型，因为未来版本的numpy可能不支持非整形参数。import numpy as npnp.random.rand(10)array([...
2020-01-09 14:36:01
2851
原创 Linux 文件操作命令
find | grep luoluo将当前目录下（包括子目录）的文件名中含有luoluo的文件过滤出来即使是当前目录子目录下的文件，也能被找出来。find | xargs grep luoluo将当前目录下（包括子目录）的文件内容中含有luoluo的行过滤出来ll | grep luoluo类似find | grep luoluo，只是不能递归查找子目录下的文件名...
2020-01-08 09:39:20
70
原创 通过--tflite--读取对应网络层输出的特征图和参数
通过 tensoflow 官方文档库可以查到tflite_mode l= tf.lite.Interpreter(model_path="H:\pycharmworkspace\Yolo\\mobilenetv3_yolo3_quantized.tflite") # .contribtflite_model.allocate_tensors()可获取输入和输出的tensor详情 inp...
2019-11-05 20:13:03
3585
4
原创 通过commit方式 制作docker镜像
commit制作镜像的方式本质上是将当前容器保存下来当作镜像。保存当前容器关闭容器后，使用commit指令来生成对应镜像docker commit [OPTIONS] CONTAINER [REPOSITORY] [:TAG]（括号内可以不要）（Tag 可以标注镜像的信息）示例： docker commit -a “wangshibo” -m “this is test” 6...
2019-11-05 20:11:19
247
转载 TensorFlow笔记（一） tf.name_scope和tf.variable_scope学习
TensorFlow笔记（一） tf.name_scope和tf.variable_scope学习1. 两者区别name_scope: * 为了更好地管理变量的命名空间而提出的。比如在 tensorboard 中，因为引入了 name_scope， 我们的 Graph 看起来才井然有序。variable_scope: * 大大大部分情况下，跟 tf.get_variable() 配合使...
2019-04-10 21:52:32
368
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人