大数据
文章平均质量分 90
欧恩方
复杂度:O(n^2)
展开
-
项目开源:scrapy + mongodb + smtplib + 百度翻译 + schedule = CNS订阅器
背景与需求分析 实验室背景的原因,经常需要浏览CNS(Cell\Nature\Science)的文章,有时候因为网站加载比较慢,并且懒所以不想点开网站去读,为了push自己更加勤奋,我决定设计一个订阅CNS文章的工具。一般用RSS来完成,但是CNS网站提供的RSS源是每天都有的文章,不符合我们一期一期阅读的习惯,而且范围更大,不限于主刊。所以,我想定制一个符合我习惯的订阅工具。 整理需求如下: 1. 每天定时抓取Cell\Nature\Science\Nature Machine Intelligence\原创 2021-03-07 21:32:15 · 341 阅读 · 0 评论 -
Linux安装Anaconda3并创建虚拟环境来安装tensorflow-gpu和tensorflow-federated
安装Anaconda wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2020.02-Linux-x86_64.sh bash Anaconda3-2020.02-Linux-x86_64.sh 创建并激活虚拟环境(name:tff) conda create -n tff conda activate...原创 2020-04-22 13:03:18 · 691 阅读 · 0 评论 -
Spark-Python安装与配置
在centos下hadoop伪分布式配置及python测试中,我们已经安装好了Hadoop,下面我们来安装Spark。 Scala安装与配置 由于Spark是用Scala编写的,所以我们要先安装Scala。 $ wget -P ~/download/ https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz $ cd ~/downl...原创 2019-05-02 13:45:06 · 836 阅读 · 0 评论 -
centos下hadoop伪分布式配置及python测试
安装和配置java $ yum -y install java-1.7.0-openjdk* $ ls -lrt /usr/bin/java # lrwxrwxrwx 1 root root 22 Apr 29 13:47 /usr/bin/java -> /etc/alternatives/java $ ls -lrt /etc/alternatives/java #lrwxrwxrwx ...原创 2019-04-29 15:48:14 · 263 阅读 · 0 评论