- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 爬虫学习之5：正则表达式的使用
实验1：爬取《斗破苍穹》全文小说观察链接发现小说第一章至第三章的链接为：第1章：http://www.doupoxs.com/doupocangqiong/2.html 第2章：http://www.doupoxs.com/doupocangqiong/5.html 第3章：http://www.doupoxs.com/doupocangqiong/6.html 编码无规律，因此...
2018-06-28 20:55:38
409
原创 爬虫学习之4：BeautifulSoup爬取酷狗Top500歌曲
酷狗TOP500歌曲榜网页如图：通过观察链接和审查元素，使用BeautifulSoup即可轻松爬取，直接贴代码：import requestsfrom bs4 import BeautifulSoupimport timeheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 ...
2018-06-28 20:12:48
1658
原创 Keras学习之2：简单神经网络处理二分类问题（IMDB影评数据分类为例）
IMDB数据集含有50000条国际影评，被均分为训练集和测试集。在IMDB中，影评所用的词汇被映射为大于0的整数，表示该单词出现在数据库中的词频的排名。本实验只是运用keras进行简单神经网络实验，没有考虑过拟合问题处理。代码简单，直接贴出来。from keras.datasets import imdbimport numpy as npfrom keras import mode...
2018-06-27 16:47:06
7248
3
原创 Keras学习之1：简单神经网络
使用下载在本地的Mnist手写字符数据集，代码很简单，不做过多解释，Keras搭建神经网络确实很方便，几行代码就完成了一个两层的神经网络。from keras import modelsfrom keras import layersimport numpy as npfrom keras.utils import to_categoricaldef load_data()...
2018-06-26 15:28:37
1136
原创 Hadoop学习笔记12之节点的服役与退役
流程可以完全参照《Hadoop权威指南》注意：{HADOOP_HOME}/etc/full/slaves文件与节点无关，仅用于在名称节点启动时向文件中的节点发布启动命令。决定节点是否能连接到Hadoop集群不由它决定，由namenode上的dfs.hosts属性决定。该文件放在namenode的本地文件系统中，每行对应一个datanode的网络地址(由datanode报告，可以通过namenode...
2018-06-23 16:51:19
309
原创 Hadoop学习笔记11之HDFS其他常用操作命令
配置hadoop的最小blocksize，必须是512的倍数。------------------------------------------- [hdfs-site.xml] dfs.namenode.fs-limits.min-block-size=1024 write,进行校验，512进行一次校验。 单独配置辅助名称节点----------...
2018-06-23 11:14:51
718
原创 爬虫学习之2:BeautifuSoup爬取58租房数据
周末了有点累，不想看别的书，学习下爬虫放松一下，了解了下BeautifulSoup库，用之爬取58同城租房数据，代码较简单，才初学还有很多待完善地方，大神勿喷，贴出来仅为记录一下，写完博客打把农药睡觉。 这个程序设置了爬取页数为3页，为了反爬，爬取每一页间隔时间简单设置为2秒。代码如下：import requestsfrom bs4 import BeautifulSoup...
2018-06-22 23:30:36
1637
2
原创 U-Net相关博文收集
医学图像分割中用得比较多的U-NET，原本打算写一篇论文笔记，发现CSDN中已经有很多很好很强大的博文，有些还有代码实现过程，遂收集学习之，不再重复赘述。U-NET实现：https://blog.csdn.net/qq_30622831/article/details/79931406U-NET原文解释：https://blog.csdn.net/m_buddy/article/det...
2018-06-19 11:36:21
256
原创 【论文阅读笔记】Automatic Liver and Lesion Segmentation in CT Using Cascaded Fully Convolutional Neural Net
本文提出一种从腹部CT片中自动分割肝脏和肝脏病变的方法。 使用的数据集为3DIRCADb dataSets：http://ircad.fr/research/3d-ircadb-01 使用的神经网络库为Keras 训练的模型在github: https://github.com/IBBM/Cascaded-FCN 流程如图： ...
2018-06-14 10:29:46
3627
1
原创 爬虫学习之3：初试scrapy之xpath
最近写爬虫，简单了解了一下Xpath，用个小实例作为练习。先上Xpath路劲语法编写一个XML作为提取文档：<superhero><class> <name lang="en">Tony stark</name> <alias>Iron man</alias> <sex>male&
2018-06-11 17:32:27
363
原创 Hadoop学习笔记10之HDFS写入时序分析
先画一个示意图:【几个基本概念】1.block文件块默认块大小：128M最小块：1M2.packet包64K3.chunk小块512字节，必须能被packet整除【代码分析】使用Eclipse Junit测试和Debug 分析代码的代码段如下： @Test publicvoid putFile() throws Exception{ ...
2018-06-10 10:26:00
392
原创 爬虫学习之1：初试scrapy:爬取应届生求职网招聘信息
之前用BeautifulSoup写过爬虫，这段时间工作需要发布一些就业信息，尝试下Scrapy框架，花了一个网上稍微了解了一下，对Scrapy框架有了一定了解，已经可以爬取到数据，并保存为Json、CSV格式，并顺利写入MySQL，但很多细节还需要进一步了解，使用框架确实省事。下面直接贴过程： 一、安装Scrapy 本来在Linux比较方便，但我电脑里的Ubuntu由于...
2018-06-08 00:31:17
1338
原创 Hadoop学习笔记9之Maven的使用
【用途】管理依赖，自动关联源码 【下载与安装】1.下载：https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.3/binaries/Linux版：apache-maven-3.3.9-bin.tar.gzWindows版：apache-maven-3.3.9-bin.zip2.安装 解压即可，放在根路径下。3.配置环境变量...
2018-06-05 21:35:39
2098
原创 Hadoop学习笔记7之使用Hadoop客户端API访问HDFS
这里参考《Hadoop权威指南》第三章相关内容，直接贴代码，比较简单，就不注释了。package com.hadoop.hdfs;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;...
2018-06-02 15:45:53
1066
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人