- 博客(20)
- 资源 (1)
- 收藏
- 关注
原创 一些自用logo
修改包管理镜像为国内源:Tsinghua Open Source Mirror运行两个命令:conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes
2023-08-29 23:10:47
284
1
原创 阿里腾讯云 hadoop+spark集群搭建(2)
阿里腾讯云 hadoop+spark集群搭建(2)linux版本: centos7hadoop版本: 3.1.1spark版本: 2.3.2在1中已经搭建好了hadoop,接下来就是spark。为方便起见,用shell脚本完成下载spark、hive(后面再搭,先把spark跑起来)的操作。download_file.sh------------------------------...
2018-10-29 13:36:48
639
原创 阿里腾讯云 hadoop+spark集群搭建(1)
阿里腾讯云 hadoop+spark集群搭建(1)linux版本: centos7hadoop版本: 3.1.1手上有三台学生机,完全没动过的:一台是阿里云服务器,两台是腾讯云。用阿里云做namenode,腾讯云做datanode。目标是搭好hdfs和yarn,后面搭spark和hive。 更新和下载软件包。安装jdk 版本为1.8.0 $ sudo yum -y ...
2018-10-28 23:16:40
1000
原创 LINUX下载运行MONGODB
curl -O http://downloads.mongodb.org/linux/mongodb-linux-x86_64-latest.tgz?_ga=2.203685907.2005591995.1522833621-772625683.1520840379 # 下载tar -zxvf mongodb-linux-x86_64-latest.tgz?_ga=2.203685907.2...
2018-04-04 18:03:12
380
转载 WebDriver和ChromeHeadless的一些参考网站
Selenium-Python WebDriver API参考:http://selenium-python.readthedocs.io/api.htmlhttps://wenku.baidu.com/view/514e3b931eb91a37f0115c0e.htmlhttps://www.cnblogs.com/yufeihlf/p/5764807.htmlhttps://www.jians...
2018-03-11 21:36:14
909
原创 Python-Selenium中chromeDriver限制图片和Javascript加载
我们有的时候使用Selenium会希望能够限制图片和Javascript执行,从而提高网页加载速度。先上python代码:from selenium import webdriveroptions=webdriver.ChromeOptions()prefs={ 'profile.default_content_setting_values': {
2017-11-19 13:18:28
10633
1
原创 初次运行Selenium的ChromeDriver安装
chromedriver下载地址:https://sites.google.com/a/chromium.org/chromedriver/downloads下载后将exe文件放入Anaconda3的Scripts文件中。默认是在环境变量路径了,此时可以使用selenium打开chrome了。from selenium import webdriverbrowser
2017-11-19 11:08:45
2218
转载 Hadoop、Hive、Spark 之间是什么关系?
早在大数据概念出现以前就存在了各种各样的关于数学、统计学、算法、编程语言的研究、讨论和实践。这个时代,算法以及各种数学知识作为建筑的原料(比如钢筋、砖块),编程语言作为粘合剂(比如水泥)构成了一座座小房子(比如一个应用程序),形成了一小片一小片的村庄(比如一台服务器)。这个时代村与村之间还没有高速公路(GFS, HDFS, Flume, Kafka等),只有一条泥泞不好走的土路(比如RPC),经济
2017-06-15 16:01:56
839
原创 阿里云上部署java8和hadoop3.0、spark、hive及Mahout
1.安装JDK1.8到oracle官网:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmllinux是64位的,安装jdk-8u131-linux-x64.tar.gz 安装及配置参考http://blog.csdn.net/rchm8519/article/de
2017-06-13 12:05:19
3215
原创 Hadoop及Spark集群部署
实现主机间SSH无密登陆的步骤及原理,参考:http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.htmlhttp://blog.csdn.net/zhaihaifei/article/details/50523576自己复述一遍过程吧:例如我要用A无密访问B,C,D...等机器,那么我就先使用A生成密钥 ssh
2017-06-12 20:54:34
848
原创 云服务器上初试git
由于是LINUX+服务器菜鸟,因此我把过程中的问题记录一下:1.首先,laravel本来就是git项目,自带了.gitignore,打开它我们可以看到它会忽略推送的文件。因此当我们拉项目下来后,要用 composer 安装依赖。命令行输入:composer install打开网页,3.报错 RuntimeException in Encrypter.php (l
2017-05-30 22:57:31
328
原创 阿里云CentOS部署Laravel5.4项目
把Laravel项目放到云服务器上发现报500错误。看了下php版本,是5.6.3的,而Laravel 5.4要求的php》=5.6.4,这意味着要升级php版本。综合了一下各方资料,实现如下:先把php旧版本卸载:yum remove php* php-common 引入yum 7.X源:rpm -Uvh https://dl.fedoraproj
2017-05-30 21:12:34
1920
原创 阿里云服务器
今天在阿里云购买了学生云服务器,地址是:https://promotion.aliyun.com/ntms/campus2017.html以前在别的地方购买过虚拟主机,搭了个WordPress,但实在没什么意思。而云服务器9.9元一个月,续费也是这个价格,十分划算,于是决定入手一个来折腾看看。配置如下:下载XShell和X-FTP来连接服务器。输入netstat -tnlp
2017-05-28 20:36:01
478
原创 Python3.5.2下导入matplotlib.pyplot错误
错误提示:ValueError: _getfullpathname: embedded null character解决方法:到python3.5的安装文件目录libs下找到font_manager.py文件direc = os.path.abspath(direc).lower()改为:direc = direc.
2017-04-04 16:33:07
1200
1
翻译 基于分类使用深度神经网络的金融市场预测
深度神经网络(DNNs)是使用多隐层的强大的人工神经网络(ANNs)。它最近在语音翻译和图像识别社区已经引起了强烈的关注,因为它具有优秀的预测性能,包括过度拟合的鲁棒性。然而在这之前,它们在算法交易上的应用仍未被研究过,一定程度上是因为它们的计算复杂性。本文叙述了深度神经网络在预测金融市场的走势方向上的应用。特别地,我们描述了配置和训练的方法,并且通过用一个简单的交易策略对43种不同的商品和外汇的
2017-02-22 13:02:26
2006
原创 了解数据库
E-R图,E-R图到关系模式,数据库系统结构、组成:http://wenku.baidu.com/link?url=cYkvrKhjmloblcDCUe8BAkpAjKavJ1Kd8tvCDlAf8Fcs0LEMwenfQgvAVD7QAf6BlNnz-OXHySsPG60f0IcHv8g1KkQlYVrWZYZBAixvjAG关系数据模型http://baike.baid
2016-04-13 21:53:27
354
转载 Laravel 5.2使用phpunit提示command not found
在Laravel目录下使用phpunit命令提示command not found。如果执行 phpunit 命令报错:command not found 或者 permissions denied,前者可能是安装时有问题,phpunit 命令位于 Composer 安装目录下的 vendor/bin 目录中,而且该目录已经被添加到系统路径中;后者则是因为没有为 p
2016-04-13 19:27:45
5527
2
原创 OSX下虚拟域名问题(laravel)
1.进入/etc/apache2下打开httpd.conf,找到 #Include /private/etc/apache2/extra/httpd-vhosts.conf去除#。2.而后在/etc/apache2/extra下打开httpd-vhosts.conf,输入DocumentRoot "/Library/WebServer/Documents/lar
2016-04-11 22:16:06
412
原创 SPRINGMVC登陆注册查询功能碰到的问题
总结下在用SPRING MVC做登陆、注册、查询用户的三个功能碰到的问题吧:1.数据库连接问题。在控制器文件中已经配置好了数据库连接类Mysql.java,代码如下:Mysql.java:package controller;import java.sql.Connection;import java.sql.DriverManager;import java.sql.Pre
2016-03-13 13:16:32
851
原创 Window下配置5.7版本Mysql数据库
将官方网站下载的5.7版本的压缩包解压,配置环境变量path,路径也是bin目录在文件夹目录下新建my.ini,输入以下内容并保存[mysqld]basedir=D:\Program Files\mysql-5.7.11datadir=D:\Program Files\mysql-5.7.11\dataport = 3306关于初始密码,用管理员身份运行CMD,输入以下
2016-03-07 18:46:37
540
boot2docker v17.06.2-ce
2017-09-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人