- 博客(39)
- 收藏
- 关注
RSS订阅转载 Laraval环境搭建
更换终端shell 安装oh-my-zsh 主题，默认shell为zsh 而不是 bashsh -c "$(curl -fsSL https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh)"重新打开终端，默认为 zsh安装Composer进入官网下载：https://g...
2019-08-18 18:58:00
159
转载 Spark SQL应用解析
一 Spark SQL概述1.1什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 Hive是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。...
2019-06-22 18:25:00
194
转载 Spark Core应用解析
一。RDD概念1.1。RDD概述1.1.1。什么是RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及调用 RDD 操作进行求值。每个 RDD 都被分为多个分区，这些分区运...
2019-06-22 01:41:00
181
转载 Hadoop之MapReduce基础
一。MapReduce概念 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。1.1 为什么要MapReduce 1）海量数据在单机上处理因为硬件资源限制，无法胜任 2）而...
2019-06-11 23:47:00
313
转载 Hadoop之HDFS基础
一。 HDFS概念1.1 概念 HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。1.2 组成1）HDFS集群包括，NameNode和DataNode以及Secondary Namenode。2）NameNode负责管理整个文件系统的元数据，以及每一个路...
2019-06-11 01:23:00
278
转载 并发编程之Java内存模型
一。共享内存模型 共享内存模型指的就是Java内存模型(简称JMM)，JMM决定一个线程对共享变量的写入时,能对另一个线程可见。 从抽象的角度来看，JMM定义了线程和主内存之间的抽象关系： 线程之间的共享变量存储在主内存（main memory）中，每个线程都有一个私有的本地内存（local memory），本地内存中存储了该线程以读/写共享变量的副本。...
2019-06-03 00:22:00
119
转载 并发编程之多线程基础
一。多线程创建方式 1。第一种继承Thread类 重写run方法class CreateThread extends Thread { // run方法中，需要线程需要执行代码 @Override public void run() { System.out.println("运行子线程"); }}...
2019-06-02 21:23:00
92
转载 环境配置
一。生成数据库表 1. 创建数据库和表/*SQLyog Ultimate v12.08 (64 bit)MySQL - 5.6.42 : Database - zghPortrait**********************************************************************//*!40101 SET...
2019-03-01 16:13:00
238
转载 SpringDataSolr小案例
一。下载安装Solr 1. 下载安装tomcat[root@ay120tum0is24xe ~]# docker search tomcatNAME DESCRIPTION STARS OFFIC...
2019-02-27 18:14:00
89
转载 SpringDataRedis小案例
一。下载Redis 1. 下载Redis镜像[root@192 ~]# docker image pull registry.cn-hangzhou.aliyuncs.com/zuowenbo/redisUsing default tag: latest[root@192 ~]# docker image tag registry.cn-hangzhou.aliyu...
2019-02-17 15:27:00
85
转载 分布式文件服务器FastDFS小案例
一。下载镜像 1. 阿里云容器仓库下载 2. 容器镜像下载[root@192 ~]# docker image pull registry.cn-hangzhou.aliyuncs.com/tdenergys/fastdfs[root@192 ~]# docker image listREPOSITORY ...
2019-02-16 21:58:00
166
转载 Dubbox小案例
一。安装zookeeper 1. 进入阿里云的容器服务，搜索zookeeper：https://cr.console.aliyun.com/cn-hangzhou/images 2. 复制网址 3. 下载镜像[root@ay120tum0is24xe ~]# docker image listREPOSITORY TAG ...
2019-02-15 23:47:00
135
转载 Maven项目
一。下载maven（要先配置java环境） 1. 官网地址：http://maven.apache.org/download.cgi 2. 解压，路径为E:\Software\apache-maven-3.5.2二。配置maven环境 1.我的电脑->属性->高级系统设置->新建环境变量：MAVEN_HOME，填解压路径：E:\Software...
2019-02-15 14:48:00
131
转载 网络命名空间和网桥的基本操作命令
一。6种名称空间 1. UTS：主机名和域名 2. User：用户 3. Mount：挂载文件系统 4. IPC：进程间通信 5. Pid：进程ID 6. Net：网络二。网络名称空间 1. 查看是否有iproute[gh@localhost ~]$ rpm -q iprouteiproute-3.10.0-87.el7.x86...
2019-01-06 22:54:00
652
转载 基于容器制作镜像
一。镜像基础一。基于容器制作镜像 1. 查看并关联运行的容器[gh@localhost ~]$ docker container lsCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS ...
2019-01-05 22:38:00
189
转载 docker命令的基本操作
一。帮助信息 1. 分组的操作[gh@localhost ~]$ docker --helpManagement Commands: builder Manage builds config Manage Docker configs container Manage containers engine Man...
2019-01-02 12:30:00
129
转载 centos7安装docker
一。修改yum源为阿里云的 1. 进入yum目录[root@localhost yum.repos.d]# lsCentOS-Base.repo CentOS-Debuginfo.repo CentOS-Media.repo CentOS-Vault.repoCentOS-CR.repo CentOS-fasttrack.repo CentOS...
2018-12-29 13:25:00
105
转载 zookeeper的java客户端常用api
一。maven导入zookeeper 1. 在这个网址搜索zookeeper导入：https://search.maven.org/ ，pom文件可如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xm...
2018-09-09 13:32:00
107
转载 zookeeper客户端常用命令
一。连接zookeeper 1. 本地节点连接[root@host1 bin]# ./zkCli.sh[zk: localhost:2181(CONNECTED) 0] 2. 指定节点连接[root@host1 bin]# ./zkCli.sh -server host2:2181[zk: host2:2181(CONNECTED) 0] ...
2018-09-03 12:41:00
167
转载 zookeeper安装
一。介绍 1.zookeeper 是一个分布式协调服务，就是为用户的分布式应用程序提供协调服务。 2.zookeeper 是为别的分布式程序服务的。 3.zookeeper 本身就是一个分布式程序（只要有半数以上节点存活，就能正常工作） 4.zookeeper 所提供的服务包括：主从协调，服务节点动态上下线，统一配置管理，分布式共享锁，统一名称服务等。...
2018-09-02 22:09:00
78
转载 环境配置
一。装完centos6.x后，配置静态ip，参照 https://www.cnblogs.com/GH-123/p/8516474.html二。永久修改主机名 1. 打开配置文件[root@localhost ~]# vim /etc/sysconfig/network 2. 修改配置如下NETWORKING=yesHOSTNAME...
2018-09-01 22:54:00
73
转载 PaddlePaddle安装
一。用pip安装(python2.7) sudo pip install paddlepaddle 安装过程可能会出错，多次安装二。 用Docker安装运行***参考***http://www.paddlepaddle.org/docs/develop/documentation/fluid/zh/build_and_install/pip_inst...
2018-04-19 11:06:00
137
转载 图片的处理
一。图片处理过程 1. 将图片灰度转换，处理成背景为黑色，数字为白色的图片，图片矩阵元素只有0和1，且矩阵的数据类型(dtype)为 'float64' 。 2. 将图片里的数字取出来。 3. 将取出的数字伸缩到相应的大小。二。代码实现 1 #!/usr/bin/env python 2 # -*- coding:utf8 -*-...
2018-04-08 22:15:00
51
转载 参考网址汇总
一。很好的参考学习网址 1. 反向传播具体案例 https://zhuanlan.zhihu.com/p/23270674 2. 神经网络介绍 https://baijiahao.baidu.com/s?id=1586478099549465387&wfr=spider&for=pc&isFailFlag=1 3. ...
2018-04-08 10:38:00
132
转载 时间戳,时间互转
一。 时间戳格式化 1. 以秒为单位，现在距离1970年的时间>>> import time>>> time.time()1521945271.178886>>> int(time.time())1521945983>>> 2. 转为时间数组>>&...
2018-03-25 10:53:00
123
转载 设置静态ip
一。修改文件设置静态ip 1. 打开网卡配置文件[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 2. 修改如下DEVICE="eth0" # 网卡名称，对应ifcfg-eth0BOOTPROTO="st...
2018-03-06 20:09:00
98
转载 Git常用命令
一。问题解决 1. 修改了文件test.txt，返回commit 之后的 test.txt. 撤销修改 git checkout -- test.txt 2. 修改了文件test.txt，然后 add 后, 又修改了 test.txt , 返回 add 之后的 test.txt. 和第一步一样用 git checkout -- te...
2018-02-17 12:55:00
93
转载 安装nodejs
一。安装 1. 下载编译好的二进制[root@VM_14_49_centos nodejs]# wget https://nodejs.org/dist/v8.9.3/node-v8.9.3-linux-x64.tar.xz--2017-12-17 12:01:08-- https://nodejs.org/dist/v8.9.3/node-v8.9.3-lin...
2017-12-17 12:55:00
136
转载 安装mongodb
一。安装 1. 下载编译好的二进制[root@VM_14_49_centos mongodb_01]# wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.6.0.tgz--2017-12-17 11:24:01-- https://fastdl.mongodb.org/li...
2017-12-17 11:59:00
89
转载 MySql的安装
一。使用yum安装 1. 直接yum安装 (1). wget http://dev.mysql.com/get/mysql-community-release-el6-5.noarch.rpm (2). rpm -ivh mysql-community-release-el6-5.noarch.rpm (3). yum -y inst...
2017-12-12 13:26:00
67
转载 用户(user)和用户组(group)
一。相关配置文件 1. 与用户（user）相关的配置文件 1.1 /etc/passwd 用户(user)的配置文件[root@VM_14_49_centos ~]# cat /etc/passwdroot:x:0:0:root:/root:/bin/bash (1). 用户名(root) (2). ...
2017-12-12 12:05:00
316
转载 使用秘钥登录服务器
一。更新服务器 yum -y update二。建立密钥对(密码可空)[root@VM_14_49_centos ~]#ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Enter passphrase ...
2017-12-03 12:50:00
198
转载 修改yum源
一。进入yum源目录[root@VM_14_49_centos ~]# cd /etc/yum.repos.d/[root@VM_14_49_centos yum.repos.d]# lsCentOS-Base.repo CentOS-Epel.repo[root@VM_14_49_centos yum.repos.d]# 二。备份yum源[root...
2017-12-03 11:49:00
85
转载 简单的爬虫小例子
实例目标：爬取知网空间300个期刊论文参考链接有详细的原理和教程一。调度器：用来控制整个流程 spider_main.py#!/usr/bin/env python# -*- coding: utf-8 -*-'spider_main-调度器'import url_managerimport html_downloaderimport h...
2017-11-29 12:59:00
81
转载 Bezier曲线
一。实现Bezier曲线的升阶，降阶和拖动。#!/usr/bin/env python# -*- coding: utf-8 -*-'My Bezier'import numpy as npfrom scipy.special import comb, permfrom matplotlib import pyplot as pltclass MyBe...
2017-11-26 12:54:00
81
转载 super继承和普通继承
一。普通继承>>> class A:... def __init__(self):... print 'Enter A'... print 'Leave A'... >>> class B(A):... def __init__(self):... ...
2017-11-24 12:42:00
152
转载 迭代器(Iterable)和for..in..的三种协议
一。迭代器协议 1. 迭代器协议：对象需要提供next方法，它要么返回迭代中的下一项，要么就引起一个StopIteration异常，以终止迭代 2. 可跌代对象：实现了迭代器协议的对象 3.协议是一种约定,可迭代对象实现迭代器协议，在Python中，迭代是通过for ... in来完成的二。什么是可迭代对象>>> from collec...
2017-11-08 12:09:00
405
转载 装饰器Decorator(函数的装饰)
一。LEGB函数作用域的优先级和解析 函数是function的一个对象，被调用完后内部变量就会被回收，被引用的除外(例如return的变量) 1. local ：函数内部作用域 2. enclosing ：函数内部和内嵌函数之间(一般是闭包使用) 3. global ：全局作用域 4. build-in ：内置作用域(Pytho...
2017-11-05 17:11:00
129
转载 函数的参数组合
一。必选参数：必须传入的参数二。默认参数：不传入取默认值，传入则覆盖，必须指向不变对象>>> def my_fun(a,b=[2,]):... b.append(5)... print 'a=',a,'b=',b... >>> my_fun(1)a= 1 b= [2, 5]>>> ...
2017-11-03 18:50:00
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人