- 博客(26)
- 收藏
- 关注
RSS订阅原创 windows下用Java跑通spark官方文档的quick-start
在Win下跑通Java版的spark docs quick-start
2022-10-29 10:28:39
853
1
原创 Windows10 下安装最新版的Hadoop、Spark并使用Python调用Pyspark教程
前言因为部分工作的需要（不涉及后端开发）需要捣鼓windows下如何用python调用pysaprk的库。需要安装单机版的Hadoop和spark所以写下一个记录。默认电脑已经安装JAVA1.8和python3.6以上。（没有安装的搜一下，网上搜一下即可）下载地址官网下载：hadoop：spark：下载最新版（当前最新版本hadoop-3.2.1和spark-3.1.1-bin-hadoop3.2）添加环境变量windows下有个小坑普通的PC如果没有调整过管理员权限的话。在ha
2021-04-14 14:46:36
1165
原创 【EDA】天池金融风控-贷款违约预测
import pandas as pdtrain = pd.read_csv('data/train.csv')testA = pd.read_csv('data/testA.csv')print('Train data shape:',train.shape)print('TestA data shape:',testA.shape)Train data shape: (800000, 47)TestA data shape: (200000, 48)train.head()
2020-09-15 19:52:20
322
原创 windows10下CUDA10.0环境配置
新电脑到手，配置一下深度学习环境Windows 10 Version 1909显卡1660TI安装python3.6安装CUDA安装是发现CUDA安装失败，参考先进安全模式把系统的显卡驱动删除下载CUDA 10.0下载（安装完CUDA程序后可以再把英伟达的显卡驱动装回来）安装TensorFlow1.13.1-gpupip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.13.1-gpu安装keras
2020-05-11 08:41:42
10321
1
原创 Visualizing and Understanding Convolutional Networks笔记
Visualizing and Understanding Convolutional Networks笔记论文原文https://arxiv.org/abs/1311.2901Pytorch实现https://github.com/huybery/VisualizingCNN神经网络有效的原因：1、大规模数据集 2、GPU提高大量的算力 3、Dropout正则化方法论文提出可视化方法...
2020-04-17 05:19:09
517
原创 [报错解决] pip安装成功后 仍提示ImportError: No module named xxxxx解决方法，python添加新的安装包路径
在刚刚接触python的时候，时常会发生这个问题：pip install成功了，运行代码时仍提示ImportError: No module named xxxxx当时唯一会的解决办法是…完全卸载python，再把包一个一个的安装回来，超费时费力…后来发现其实很多时候问题是因为：使用者有意无意创建了几个python环境，导致了使用的python环境和pip安装包的环境不一致导致的。（这种情况...
2020-03-19 21:31:03
9472
原创 [报错解决]安装xgboost报错python setup.py egg_info Check the logs for full command output.
MacOS下安装xgboost和lightGBM报错，之前安装成功，换了python环境后安装失败信息如下：ERROR: Command errored out with exit status 1:command: /Users/shuzip/opt/anaconda3/bin/python -c ‘import sys, setuptools, tokenize; sys.argv[0]...
2020-03-14 14:40:46
23238
1
原创 Googlenet论文笔记及代码实现
Googlenet2014年ImageNet比赛冠军模型，论文发表于cvpr2015论文原文地址：https://arxiv.org/abs/1409.4842参考翻译地址：https://blog.csdn.net/c_chuxin/article/details/82856502卷积神经网络发展史的重要时间点主要探讨了如何在没有大量增加参数的情况下增加网络深度LeNetLeNet...
2020-03-13 02:03:15
1461
1
原创 【数据结构笔记】2 位图数组在Redis中的应用(位数组 Bitmap)
数组的高阶应用，即位数组（Bit Array），以及这种数据结构是如何在 Redis 中应用的。统计每个月学习专栏的用户活跃度在开始之前，我们先来考虑一个关于用户行为分析的问题，假设要统计《数据结构精讲：从原理到实战》这个专栏每个月的用户活跃度。在每个月中，只要有用户登录并且学习了这个专栏，都会将这个用户的 ID 写入一张 MySQL 表中。如果想知道在 2019 年 11 和 12 这两个月...
2020-03-08 13:30:53
318
原创 [YOLOv1：You Only Look Once]原理及其使用方法
YOLO：You Only Look Once（你只需看一次）Detection as Regression把系统将输入图像分割成S×S网格。如果一个物体的中心落在一个网格单元中，该网格单元负责检测该物体。每个网格单元格预测B bounding boxes和这些框的confidence scores。这些置信度评分(confidence scores)反映了模型对boxes中包含对象的置信度...
2020-03-06 08:51:31
987
原创 【数据结构笔记】1数组内存模型(随机访问 行优先 列优先 Openjdk数组操作)
数组（Array）。数组的内存模型1.一维数组在计算机科学中，数组可以被定义为是一组被保存在连续存储空间中，并且具有相同类型的数据元素集合。而数组中的每一个元素都可以通过自身的索引（Index）来进行访问。以 Java 语言中的一个例子来说明一下数组的内存模型，当定义了一个拥有 5 个元素的 int 数组后，。int[] data = new int[5];通过上面这段声明，计算机会...
2020-03-05 14:39:12
1237
原创 Mac下导入lightgbm报错 Reason: image not found 解决办法
搜索解决办法需要安装一个新的库brew install libomp 权限不足解决办法：sudo chown -R `whoami`:admin /usr/local/bin接着系统会提醒你输入密码,输入密码回车之后接着输入：sudo chown -R `whoami`:admin /usr/local/share完成后再执行一次brew install libomp ，安装...
2020-02-22 16:12:49
3711
4
原创 [kaggle竞赛笔记]Abstraction and Reasoning Challenge (I）赛题背景&数据集使用说明
赛题背景抽象与推理的挑战计算机能从几个例子中学习复杂、抽象的任务吗?当前的机器学习技术需要大量的数据，而且很脆弱——它们只能理解以前看到的模式。使用当前的方法，一个算法可以通过接触大量数据来获得新的技能，但是可以广泛应用于许多任务的认知能力仍然难以捉摸。这使得创建能够处理现实世界的可变性和不可预测性的系统变得非常具有挑战性，比如家用机器人或自动驾驶汽车。然而，其他的方法，比如归纳式编程，...
2020-02-15 23:00:28
767
原创 【百度AI studio深度学习】基于PaddleDetection调用YOLOv3目标检测
基于PaddleDetection目标检测课程地址：https://aistudio.baidu.com/aistudio/course/introduce/891任务目标：使用开源框架PaddleDetection调用yolov3对图片中的水果位置进行检测。数据集介绍https://aistudio.baidu.com/aistudio/datasetDetail/15067水果图像的...
2019-12-11 10:55:52
4198
转载 Ubuntu 上 Node.js 安装和卸载
1、Ubuntu 安装 Node.Js1.1、执行检查可更新的软件：sudo apt-get update1.2、先用普通的apt工具安装低版本的node，然后再升级最新。sudo apt-get install nodejssudo apt install nodejs-legacysudo apt install npm1.3、更换淘宝的镜像，这个是必须的，用过的node的人都知...
2019-11-28 22:01:18
560
原创 【CCF大数据与计算智能大赛】互联网新闻情感分析（使用LSTM完成中文文本多分类任务）
本人菜鸡，NLP新手，本文记录了参加这个比赛的过程。赛题地址：https://www.datafountain.cn/competitions/350
2019-11-09 19:02:10
2297
4
原创 【课程笔记】ECS部署深度学习实验环境，构建CNN模型实现景区地标识别
在华为云的ECS部署深度学习实验环境，构建CNN模型实现景区地标识别，体验AI识景带来的便利性。
2019-11-02 16:03:11
1129
原创 keras训练模型遇到loss:nan 解决办法
训练神经网络的时候，增大了隐藏层的神经元个数，突然间loss值变成了nan经过多方搜索，找到了原因tensorflow解决方法网上已有，这里贴keras的解决办法在pycharm里import keraskeras.lossesctrl + 左键 losses 进入损失函数模块找到调用的损失函数，这里是def categorical_crossentropy(y_true, y...
2019-10-31 18:24:28
9030
原创 BrokenPipeError: [Errno 32] Broken pipe解决办法
trainset = torchvision.datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)trainloader = torch.utils.data.DataLoader(trainset, bat...
2019-10-21 20:09:51
27362
15
原创 解决“The port 8888 is already in use, trying another port”方法
精确找到被占用的端口对应的PIDnetstat -ano|findstr "8888"末尾显示的是PID得到端口号接着，查看是哪个进程或程序占用了端口tasklist|findstr "15044"得到占用端口的进程为python.exe，调用命令停止它taskkill /f /t /im python.exe...
2019-10-08 20:54:23
11817
2
原创 ValueError: Object arrays cannot be loaded when allow_pickle=False解决方法
在运行Deep Learning with Python官方代码时报错ValueError: Object arrays cannot be loaded when allow_pickle=False参考了https://www.cnblogs.com/heenhui2016/p/10905281.html参考链接中的解决方案。即：找到所在imdb.py中的所在行将np.load(p...
2019-10-06 10:42:03
430
翻译 【PyTorch官方示例翻译&注释】从头开始NLP:使用字符级RNN生成名称
作者: Sean Robertson在上一篇教程，我们使用RNN将名称分类为它们的原始语言。这次我们将回过头来，从语言中生成名称。（上一篇的翻译[https://blog.csdn.net/shuzip/article/details/101716625]）> python sample.py Russian RUSRovakovUantovShavakov> pyth...
2019-10-01 18:29:05
257
翻译 【PyTorch官方示例翻译&注释】从头开始NLP:使用字符级RNN对名称进行分类
NLP FROM SCRATCH: CLASSIFYING NAMES WITH A CHARACTER-LEVEL RNN从头开始NLP:使用字符级RNN对名称进行分类原文地址https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html作者:Sean Robertson我们将建立和训练一...
2019-09-29 21:09:13
594
原创 Oracle课程知识点总结（1）
学校的Oracle数据库课程知识点总结及实验练习Oracle数据查询设计 的知识点总结SQL CREATE VIEW 语法CREATE VIEW view_name ASSELECT column_name(s)FROM table_nameWHERE condition注：1 子查询可以包含复杂的SELECT语句，2 子查询不能包含ORDER BY 字句。数值函数常用函数列...
2019-09-28 18:10:48
404
翻译 理解LSTM神经网络 （Understanding LSTM Networks翻译）
**Understanding LSTM Networks**原文章地址：https://colah.github.io/posts/2015-08-Understanding-LSTMs/作者：Christopher Olah（Google Brain, Research Scientist.）https://colah.github.io/about.html**循环神经网络Re...
2019-09-26 19:53:02
2441
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人