2018年12月_keineahnung2345

原创 Zeppelin+Mesos：Failed to connect to xx.xx.xx.xx:5050

這是筆者依照Apache Zeppelin on Spark Cluster Mode - Spark on Mesos mode的教學架設Zeppelin＋Mesos時所出現的錯誤。在構建好docker image並啟動docker container後，可以打開http://xx.xx.xx.xx:5050/#/。但是卻不時會在網頁彈出Failed to connect to xx.xx.xx.xx:5050!，以下是螢幕截圖。

2018-12-31 16:53:20 768

原创 python xgboost踩坑實錄

在python下運行xgboost有許多要注意的地方。筆者在載入模型及載入數據的時候都踩了坑，為了避免再度踩坑，所以將解法記錄於此。

2018-12-31 14:19:41 388

原创 CentOS下Zeppelin中R的配置教程

使用CentOS下安裝Zeppelin中的步驟安裝完Zeppelin後，就可以直接在上面進行Spark編程。但是如果想要在上面運行R的程序，則還需要另外配置。本篇參考了R Interpreter for Apache Zeppelin這份官網上的教學。

2018-12-29 10:44:14 720

原创如何除Zeppelin的錯？

本篇記錄了一些簡單的Zeppelin除錯方法。包括重啟interpreter，查看log，重啟Zeppelin等方法。

2018-12-29 09:31:40 270

原创 CentOS下安裝Zeppelin

一開始照著Zeppelin - Install的教學來安裝Zeppelin。安裝完成後想啟動zeppelin-daemon卻一直不成功。後來回去仔細看了官網的教學才發現原來Zeppelin必須有Java才能運行。

2018-12-29 09:18:16 1032

原创如何找出zeppelin的登入帳號密碼？

如果忘記了zeppelin的密碼該怎麼辦呢？我們可以登入zeppelin的運行主機，然後從設定檔中找出可用的帳戶密碼。本篇記錄了詳細的步驟。

2018-12-28 15:58:04 3169

原创 CentOS下安裝Java

本篇是筆者照著How to Install Apache Zeppelin on CentOS 7的教學安裝Java。原文中的dead link己被替換成可以用的連結。下載jdk的rpm包使用yum來安裝設定環境變量查看java版本

2018-12-28 15:30:44 487

原创 Mask_RCNN代碼研讀（matterport版本）系列文（二）- Feature Pyramid Network部份

在本系列的第一篇Mask_RCNN代碼研讀（matterport版本）系列文（一）- ResNet部份中，我們了解到ResNet在Mask RCNN的大架構裡扮演的是特徵抽取器（backbone）的角色，而這些feature maps將被Feature Pyramid Network（以下簡稱FPN）用來進一步構建在更層語義訊息皆很強的特徵。在本篇中將會接著對FPN進行探討。對FPN還不了解的同學可以先看看Feature Pyramid Networks for Object Detection論文研讀。

2018-12-28 13:57:04 900

翻译 MacOS下git clone git@github.com: Permission denied （publickey）錯誤及解決方式

這個錯誤是筆者在使用以下指令時發生的：git clone git@github.com:dcos/dcos-cli.gitGitHub Help - Error: Permission denied (publickey)中有給出完整的問題排除方法。以下記錄筆者實測的結果。改用git當使用者名稱檢查是否有使用key生成新的ssh key將ssh key添加到ssh-agent將SSH key加入GitHub帳戶檢查ssh key是否有被使用

2018-12-27 17:33:58 3866

原创 Mask_RCNN代碼研讀（matterport版本）系列文（一）- ResNet部份

在開始閱讀這近三千行的代碼之前，先對模型整體架構有基本的認識會比較好。以下先說說閱讀代碼時需注意的幾個地方：Mask R-CNN的發展歷程是由R-CNN到Fast R-CNN到Faster R-CNN再到Mask R-CNN。它們使用ResNet當backbone來抽取特徵，並且用到了Feature Pyramid Network來解決所謂多尺度目標檢測的問題。這個repo是用Keras+TensorFlow寫成。經筆者實測，使用Keras2.2.2或TensorFlow1.8

2018-12-26 17:27:19 2293 5

原创 Feature Pyramid Networks for Object Detection論文研讀與問題討論

本篇文章講述論文Feature Pyramid Networks for Object Detection。本文除了介紹論文本身外，還加入了筆者研讀論文時的碰到的問題及個人的想法。將之記錄於問題討論章節中該論文著重於解決多尺度目標檢測的問題。它使用CNN固有的多尺度，金字塔狀的結構，加上top-down pathway以及lateral connection，來建立feature pyramid。這種做法僅額外多了一點計算量就能提升CNN對小物體檢測的效果。並且FPN還能當作通用的特徵提取器來使用

2018-12-26 17:25:41 1464 2

原创 PIL及matplotlib：OSError: cannot identify image file錯誤及解決方式

這個錯誤是在使用PIL及matplotlib來讀圖（.jpg檔）的時候發生的。這個錯誤只有在讀某個特定的圖檔時才會發生。但是後來去檢查圖片，卻發現可以用一般的圖片瀏覽器打開，並且看不出什麼問題。問題的解決方法是筆者不經意發現的。因為PIL跟matplotlib都無法讀圖，所以想安裝其它的包試試看。一開始試了opencv-python，安裝完成後，發現使用cv2可以成功讀圖。後來試了scikit-image，安裝完成後，使用skimage也可以成功讀圖。筆者嘗試使用PIL跟matplotlib

2018-12-26 17:06:43 23308 9

原创使用docker stack建構跨主機PySpark+Jupyter集群

在前篇如何在30秒內建構Spark環境–使用docker-compose 踩坑實錄中介紹了使用docker-compose在一台機器架設PySpark+Jupyter環境的方法。在本篇中，會延續前篇，將原本單機版的環境擴展到多主機的集群，並且加入visualizer，讓我們可以在網頁中監控docker集群。在布署compose application到swarm集群時，可以使用自帶的overlay driver來讓分布在多機上的container可以互相溝通。

2018-12-19 08:37:40 525

原创在CentOS下新增ftp帳戶並限制其可訪問目錄

步驟安裝vsftpdyum install -y vsftpd新增一個名為cindy的使用者sudo useradd -s /sbin/nologin --home-dir /var/cindy cindy-s /sbin/nologin防止cindy經由ssh登入--home-dir(或-m) /var/cindy設定了ftp開啟時的目錄（即家目錄）如果這一步做錯，可能會需要以下指令：列出所有存在的使用者cat /etc/passwd | less

2018-12-18 15:08:14 729

翻译讓ftp使用者只可存取其家目錄，但給予soft link或mount的存取權

將ftp使用者可存取的目錄限制在其家目錄比較簡單，具體可以參考：VSFTP chroot or jail users – limit users to only their home directory howto這篇文章。首先切換到vsftpd設定檔所在目錄，然後編輯設定檔.依使用場景來修改vsftpd.conf：1.讓所有使用者都無法存取上級目錄 2.如果只想讓部份使用者無法存取上級目錄，可以建立一個使用者名單,讓名單中的使用者皆無法存取上級目錄。然後使用service vsftpd restart。

2018-12-18 13:53:26 601

原创 docker: Error response from daemon: OCI runtime create failed

這個錯誤是筆者在使用nvidia-docker run時發生的.錯誤訊息中提到cuda&gt;=9.0，去TensorFlow - GPU support查詢，發現果然是TensorFlow 1.9要求CUDA版本需高於9.0。接著查詢cuda與nvidia driver相容性的表格，發現CUDA 9.0需要的nvidia driver版本必須大於等於384版。查詢一下機器上的nvidia driver版本結果顯示為375.26版，低於要求的384版。這代表我們必須要重裝nvid

2018-12-18 11:51:58 3477

原创 jupyter創建新notebook不會出現在當前目錄，卻出現在根目錄 - 問題解決

jupyter創建新notebook不會出現在當前目錄，而是出現在根目錄前言前言問題應該是出在jupyter 4.4.0本身，可以降低jupyter notebook的版本來解決這個問題。換成jupyter 4.3.0就解決了...

2018-12-17 17:00:14 259

原创為何邏輯回歸的損失函數是用交叉熵而非均方誤差?

本文是筆者在學習吳恩達的深度學習課程時所碰到的問題。課程中雖然有提及將均方誤差用於邏輯回歸可能會造成多個局部最小值，但是並未給出具體例子。而本篇文章將嘗試給出幾個例子，並說明其背後的原因。邏輯回歸使用交叉熵損失函數有兩個主要因素。第一：交叉熵是其最大似然函數。第二：使用均方誤差會導致代價函數空間有多個局部最小值，交叉熵函數則沒有這個問題。而是否有多個局部最小值則是由該函數是否為凸函數來決定。

2018-12-08 23:48:18 549

原创如何在30秒內建構Spark環境--使用docker-compose 踩坑實錄

本篇照著How To Have An Environment With Spark in Less Than 30 Seconds Thanks To Docker這個博客的教學，並且使用它的GitHub: bbvadata/docker-blog-example來建構PySpark＋Jupyter環境。筆者運行這個項目時一共踩了三個坑，不想重蹈覆轍的同學可以使用keineahnung2345/docker-blog-example這個填完坑的版本。

2018-12-07 14:08:05 787

原创 CentOS下Nvidia docker 2.0之安裝教程&踩坑實錄

本篇參考Installation (version 2.0)，並記錄安裝過程所踩過的坑坑洞洞。官網裡列出了四個要求：1. GNU/Linux x86_64 with kernel version>3.10 使用uname -r查詢，筆者機器的結果為：3.10.0-514.6.2.el7.x86_64。2. Docker >= 1.12 使用docker -v查詢，筆者機器的結果為：Docker version 18.09.0, build 4d60db4。如果對Docker的版

2018-12-06 14:31:08 2775 1

原创 CentOS 7下最新版Docker CE之無腦安裝教程&踩坑實錄

本篇面向只想無腦安裝的小白。因此在原來教程中很多需要做選擇的地方，在這裡都以預設選項替代。如果安裝過程不幸踩坑，可以參考結尾筆者的踩坑實錄。安裝docker有三種方式： 1. 使用yum repository安裝，這是官方推薦的安裝方式。（←本篇介紹的方式） 2. 下載RPM的package然後手動安裝 3. 使用腳本安裝安裝步驟卸載舊版的Docker及Docker Engine設定倉庫安裝必要的包設定stable repository安裝最新版的Docker CE啟動Docker

2018-12-06 10:33:35 415

原创（多圖）CentOS下安裝NVIDIA driver的超詳細教程

這個錯誤是筆者在CentOS 7下使用`nvidia-smi`指令時所出現的錯誤。錯誤訊息:NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.錯誤訊息說明了NVIDIA driver並沒有安裝。解決方法就是安裝它所需要的nvidia driver，具體步驟可以參照這個連結.

2018-12-05 10:44:40 4728

原创 CentOS下的Cannot find a valid baseurl for repo: warning:fedora錯誤

這是筆者在CentOS 7下執行yum update時所發生的錯誤。一個簡單的方法是在yum xxx後面加上--disablerepo=warning:fedora這個flag，即yum update --disablerepo=warning:fedora，但這只一個治標不治本的方法。筆者試過幾個方法，如：1. 修改/etc/yum.repos.d/CentOS-Base.repo 2. rm /etc/yum.repos.d/Cen*但是都起不了作用。如果後續有發現真正從根本解決問題的方法，將再持續更新

2018-12-05 10:03:15 439 2

原创 Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?錯誤

這是筆者在使用docker ps時所碰到的錯誤。解決方法：只要使用以下指令即可systemctl start docker。在Docker安裝完成後，必須啟動Docker daemon. 大多數的Linux發行版使用的是sudo systemctl start docker，如果這個指令無法使用，可以用sudo service docker start來替代。至於systemctl是什麼呢？在說明這個之前，我們必須先了解什麼是init system。

2018-12-05 09:36:45 11023

原创 CentOS下安裝Nvidia docker 2.0:[Errno 256] No more mirrors to try錯誤及解決方式

這個錯誤是筆者在為CentOS 7下安裝nvidia-docker 2.0版時所出現的。首先照著NVIDIA/nvidia-docker Installation (version 2.0)的教學移除nvidia-docker 1.0版。然後參考Repository configuration，根據Linux版本來安裝對應的倉庫。但是在執行sudo yum makecache時就出現了以下的錯誤。首先參考yum-errors及[Errno 14] HTTP Error 404 - Not Found上的建議

2018-12-04 15:40:51 4517

原创 docker: Error response from daemon: Unknown runtime specified nvidia.錯誤詳解

這是筆者照著NVIDIA/nvidia-docker: Installation (version 2.0)在CentOS7下安裝nvidia-docker 2.0版時發生的錯誤。以下描述筆者的安裝步驟：一開始先照著教學將nvidia-docker 1.0移除，然後繼續安裝 nvidia-docker 2.0,但是安裝完成後忘了執行sudo pkill -SIGHUP dockerd,而直直接使用nvidia-docker run xxx於是就出現了上述錯誤。

2018-12-04 10:28:16 6431 3

翻译如何在jupyter notebook裡運行Spark及Scala

本篇譯自：How to run Scala and Spark in the Jupyter notebook。文中介紹了從安裝套件、創建Kernel spec，到啟動jupyter notebook及測試Scala程式的完整流程。

2018-12-03 10:57:53 1689

原创 docker stack deploy無法載入.env檔案裡的環境變量及其解決方式

在使用docker-compose up這個指令時，會參考docker-compose.yml這個配置檔。而docker-compose.yml這個檔案會接著調用在.env檔案裡面定義的$HOSTIP這個環境變量。然而這個方法對docker stack deploy卻不管用。後來在GitHub尋找原因，才看到原來是因為docker stack deploy本來就不支持這種用法。因此在後面我們會採用一些補丁來解決這個問題。

2018-12-01 15:13:51 2902

原创 docker-compose up:ERROR: Encountered errors while bringing up the project.錯誤及解決方式

本文是筆者在使用docker-blog-example這個項目時，按照README.md的說明下docker-compose up這個指令時所出現的錯誤。在經過一番查找後，才發現原來發生原因只是因為前一次docker-compose沒有被關掉，因此問題的根源並不在這個repo本身。這個問題的解決方式出乎意料地簡單，在docker/compose這個項目的I am having this “Encountered errors while bringing up the project.” error

2018-12-01 10:26:35 47799 4

keineahnung2345的博客